吴恩达机器学习笔记

1.3监督学习

给出正确答案，训练神经网络进行学习

1.4无监督学习

聚类算法

1574346646256

应用：基因分类 person1 person2 person3

facebook 通过Email可以分析出你的朋友圈市场

找出一堆数据里面的数据结构

鸡尾酒会问题

混声中分离音频

1574347345635

2.1房价预测小例子

hypothesis 预测函数

cost function 代价函数（损失函数）

1574349034998

1574349120456

只考虑w的时候
右边的图是预测函数不同的斜率的时候，损失函数的值。w=1时，损失函数最小，此时预测函数最优。

1574349818025

当考虑权值w 和偏置b 的时候

这个时候，（w，b)与损失函数值J的图像是一个碗状函数。

1574350570631

可以用等高线表示：

1574350856115

2.5梯度下降

1574351371954

1574351774285

梯度下降公式：

1574435381894

α 为学习率，也就是步长。步长过大的话，损失函数可能会无法收敛或发散

随着梯度下降，越接近局部最优点，下降速度越慢（因为J(θ)的导数接近于0）

2.7线性回归的梯度下降

推导过程：

1574436036179

算法：

1574436103178

我们要同时更新θ0 和 θ1

batch 梯度下降：（计算每一步的梯度的时候，没有遍历整个数据集，而是按批次，只遍历了一部分子集）这样做可以提高效率。

3.1矩阵和向量

一般用大写字母表示矩阵

矩阵的加减乘除很简单没有什么可记的

矩阵的求逆转置

4.1多元变量（考虑多个输入）

依旧是房价预测问题，不过这次我们有更多的因素需要考虑：这个时候就要使用矩阵了

1574678665523

优化方法：梯度下降法Gradient Descent 对于多元，分别对自变量求偏导即可

1574678865405

4.4多元梯度下降法

特征缩放:Feature Scaling

1574679146428

当两个参数的取值范围差别很大的时候，代价函数的等值线就会非常扁平，这个时候梯度下降的速率就会很慢，这个时候可以使用特征缩放（感觉这就是特征值归一化）如右边的图所示。

1574679371495

缩放方法：

Mean normalization

1574679769585

学习率

1574680369958

注意：这个图像的横轴是迭代次数，通过这条曲线可以判断代价函数是否收敛。

1574680697187

如果下降算法没有正常工作，可以将学习率（步长）降低，可以每隔3倍取值试一下0.001 0.003 0.01......

4.5特征和多项式回归

有时候，按自己的需求定义一些特征量，会得到一个更好的模型：这里是将房屋的height wide 两个特征量，用area一个特征量来表示

1574681014663

选择怎样的多项式去拟合数据？

1574681356750

对于房价，我们可以使用三次多项式，也可以使用其它合适的曲线拟合，根号函数具体如何选择要根据具体背景

4.6正规方程

对于多元的代价函数，求其最小值，可以对其偏导数都为零，解出相应的θi ：

1574682080035

但是这样做过程可能会非常复杂。我们可以采用其他的方法：（额外加的一列1是偏置项）

1574682316260

我们可以使用下面的这个方法来计算θ

1574682426629

推导过程：

design matrix 设计矩阵X

1574683051725

1574685014731

使用正规方程不需要使用特征缩放

梯度法和正规方程优缺点比较：

1574685255798

公式推导过程

目标任务 $\theta=(../typora-pic/math.svg)^{-1}X^Ty$ 其中： 1574693548881 具体过程：

将代价函数的向量表达式转成矩阵表达式 $J(../typora-pic/math.svg) = \frac{1}{2}(X\theta-y)^2$

X为m行n列（m个样本个数，n个特征个数）
为n行1列的矩阵

做变换： $\begin{align} J(../typora-pic/math.svg) & = \frac{1}{2}{(X\theta-y)}^T(X\theta-y) \\ & = \frac {1}{2}{(\theta^TX^T-y^T)(X\theta-y)} \\ & = \frac {1}{2}{(\theta^TX^TX\theta-\theta^TX^Ty-y^TX\theta+y^Ty)} \end{align}$
在进行求解偏导的过程中会用到的公式

求导

1574693812925

令上面的导数等于0，得到θ

4.7正规方程不可逆的时候怎么办

XXT不可逆的时候，虽然这种情况很少发生。（即使发生，也可以用pinv求伪逆）

1574694405395

样本数据少，待确定参数多的时候，就会出现正规方程不可逆的情况。可删除一些无关紧要的特征量。

5.1Octave基本使用

和MATLAB差不多可以参考网址：

5.2读取数据

size（M）可以查看矩阵M的维度

length(M) 可以查看矩阵元素的个数

load fileNname可以读取文件

load('fileName') 也可以读取

5.3计算数据

加减乘除

5.4数据绘制


xxxxxxxxxx
10
1
t=[0:0.01:0.98];
2
y1=sin(2*pi*4*t);
3
plot(t,y1)
4
hold on
5
y2=cos(2*pi*4*t);
6
plot(t,y2)
7
xlabel('time')%加一些标签
8
ylabel('value')
9
legend('sin','cos')%加图标
10
title('my plot')%加title

1574834285858


xxxxxxxxxx
5
1
subplot(1,2,2)%和matplotlib差不多1*2 的窗口 中的第二个
2
plot(t,y1)
3
subplot(1,2,1)
4
plot(t,y2)
5
axis([0.5,1,-1,1])%加刻度

1574834797064


xxxxxxxxxx
11
1
A = magic(5)
2
3
A =
4
5
17    24     1     8    15
6
23     5     7    14    16
7
 4     6    13    20    22
8
10    12    19    21     3
9
11    18    25     2     9
10
%使用逗号 连续调用函数
11
imagesc(A),colorbar,colormap gray;%加colorbar map类型为gray

1574835195798

5.5控制语句


xxxxxxxxxx
16
1
 i=1;
2
while true,v(i)=999;
3
i=i+1;if i==6,break;
4
end;%结束if
5
end;%结束while
6
7
v
8
9
v =
10
11
  列 1 至 6
12
   999         999         999         999         999          64
13
14
  列 7 至 10
15
16
    128         256         512        1024

函数：对于预测房价中的代价函数


xxxxxxxxxx
8
1
function J = costFun(x,y,theta)
2
%COSTFUN 这是用来计算代价函数
3
%   x ,y theta 是x y 和权值
4
m=size(x,1);%样本的数目 输入有几行
5
predictions=x*theta;%predictions of hypothesis on all m examples
6
sqrErrors = (predictions-y).^2;%compute the error
7
J = 1/(2*m)*sum(sqrErrors);
8
end

测试一下：


xxxxxxxxxx
11
1
x=[1 1;1 2;1 3];%设计矩阵 输入三个x  1 2 3
2
y=[1;2;3];%y 1 2 3 相当于三个点（1,1） （2,2）（3,3）
3
theta =[0;1];%权值 0 1
4
5
j=costFun(x,y,theta)
6
7
j =
8
9
 0
10
11