1、监督学习与无监督学习

监督学习：数据集带有标签，根据数据集得到一个回归并将输入数据得到一个唯一结果

数据连续——》回归问题

数据离散——》分类问题

无监督问题：数据集不带有标签，机器自己将数据集进行分类（聚类问题）

2、线性模型的代价函数

模型：基于输入数据集计算出的输出表达式

训练模型：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小的过程

训练数据集：用于寻找模型参数来使得真实值与预测值误差最小的数据集合

对于线性模型的回归问题，其函数未确定之前其函数如下

h_\theta(x) = \theta_0+\theta_1x

代价函数是为了找出误差尽可能小的参数值，其函数如下

J(\theta_0,\theta_1) = \frac{1}{2m}\sum_{i=1}^{m} ( h_{\theta}(x^ {(i)})-y^ {( i )} )^2

其含义就是回归之前上下点到回归直线的平均距离尽可能小

之所以前面有1/2是因为求导后方便处理

3、求出代价函数最小值的算法——梯度下降

梯度下降：在各个梯度（导函数）寻找下降速度最快的方向

梯度的意义表示函数在某个方向上变化速度最快

α成为学习率，即每一次迭代下降的幅度

学习率过小可能导致迭代次数过多，学习率过大可能导致无法找到代价函数的最小值

下面为梯度下降算法的基本公式

\theta j:=\theta _j-\alpha \frac {\partial}{\partial \theta_j} J(\theta_0,\theta_1)

其含义为每次更新参数，根据其（偏）倒数（斜率或梯度）的值决定应该下降的方向，所以为参数-导数值

当情况为多元函数时，多个参数所对应的多个偏导数需要同时迭代