决策树和随机森林是机器学习中两个重要的监督学习算法。决策树通过构建类似流程图的树状结构来进行分类或回归，其核心思想是通过一系列条件判断将数据集递归地划分为更纯净的子集。随机森林则是基于集成学习思想的算法，通过构建多棵决策树并结合它们的预测结果来提高模型的泛化能力和稳定性。

今天开始学习无监督学习，K-means 是最基础也是最重要的一个算法。和之前学的分类算法不同，聚类是在没有标签的情况下，让算法自己去发现数据中的结构，把相似的数据点“物以类聚”。感觉就像是在整理一堆混在一起的乐高积木，要把相同颜色和形状的放在一起。这篇笔记记录了我对 K-means 的学习和实践。

说到分类算法，SVM (Support Vector Machine) 是一个绕不开的经典模型。它名字听起来很酷，背后的数学思想也非常优美和强大。它在线性分类和非线性分类问题上都有出色的表现，尤其是在中小型数据集上，效果常常能超过更复杂的模型。这篇笔记整理了我从理论推导到动手实现的全过程。

最近在学机器学习，发现线性回归和逻辑回归是最基础但也很重要的两个算法。虽然名字很像，但其实用途完全不同。这里整理一下学习过程中的理解和心得。

对于方阵 A，如果存在标量 \lambda 和非零向量 \mathbf{v} 使得：