一、决策树 1、 基本概念 决策树是一种非参数有监督学习算法 决策树的核心思想是用树状图来表示一组给定数据中的标签或规则，并以此来解决分类和回归问题 根节点：最初提出的问题 中间节点（内部节点）：在最终结论得出之前提出的问题 叶子结点：得到的结论 下图为决策树示例 决策树算法的核心是要解决两个问题： 1）如何从数据表中找出最佳节点和最佳分枝？ 2）…

1、分类问题 h_\theta(x)=\frac{1}{1+e^{-{\theta^{T}x}}} 又叫sigmoid，值在0-1之间

1、多元线性模型概念 当线性模型中有超过两个的待定参数（即超过一个特征）时，需要用到多元线性模型 对于多元线性模型，其可列出如下函数 h_\theta(x)=\theta_0+\theta_1 x_1+\theta_2 x_2+...+\theta_nx_n 对于参数θ，可列出如下参数向量 \theta=\left [\begin{array}{c…

1、监督学习与无监督学习 监督学习：数据集带有标签，根据数据集得到一个回归并将输入数据得到一个唯一结果 数据连续——》回归问题 数据离散——》分类问题 无监督问题：数据集不带有标签，机器自己将数据集进行分类（聚类问题） 2、线性模型的代价函数 模型：基于输入数据集计算出的输出表达式 训练模型：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可…