Machine Learning Week 1

0x00

Model: Linear Regression 线性回归模型

Example： 现在有一组关于房子大小和对应房价的数据 ，想要得出一个关于房子大小和其价格的对应关系。

这是一个线性回归问题，我们只要拟合出一条直线是的到Training Set 中各组数据的平均误差值之和最小 我们就得到了这个对应关系。

由此，我们定义了如下的变量和函数：

//这里有个细节，代价函数的分母是2m 而不是m，这是因为在之后对于导数的求解时，可以和平方项的2约掉，似的最后的表达式是1/m。

我们可以试着简化这个问题，把变量从两个简化成一个 令h(x) = θ1x 可以画出J(θ1) 是一个二次函数

那么如果当我们保留θ 和 θ1 的话，代价函数可以作出图像如下

如果要在平面上画出，即画出其轮廓图

0x01

Gradient descent (梯度下降法) 求解最小的平均代价函数

上式中的α 为 调整步长。

具体的微分结果如下：

对于一个任意的J Function

可以用梯度下降法求解得出其局部最优解。

在之前的J Function 中可以看到，它的分布呈凹函数。也就是说只有一个全局最优解，而不会有多个局部最优解。我们先任意取一个θ1 和 θ0，比如θ1 ＝θ2 ＝ 0。 然后沿其梯度方向进行对θ1 和 θ0进行调整。 要注意的是θ1 和 θ0的调整应该同时，也就是说不应该把调整后的θ0 带入调整θ1的式子求得新的θ1。