极端情况当K=N时,新增的点不应该是就要考虑所有样本点的特征,导致对样本过度学习,overfitting么,为什么反而bias大?
24:42 (1X)
pzqa39 · 2024年08月27日
嗨,爱思考的PZer你好:
过度拟合是指机器学习模型在训练数据上表现良好,但在新数据上表现不佳。它会导致模型过于复杂,过于贴合训练数据,而无法泛化到其他的新的数据。
老师在上课的时候举了两个比较极端的例子,当k很小的时候,比如k=1,那只有一个邻居,所以需要非常仔细地去研究它的特征才能进行匹配,用这一个邻居来训练自己的模型,考察非常充分,会导致模型过于复杂,这是过拟合,泛化性比较差。但是如果k很大,比如k=n,所有的数据都是邻居,会忽略大量有用的信息,得到一个非常稳定且泛化的模型,不管你输入什么样的变量结果都是一样的,所以对训练集拟合得不好。
----------------------------------------------努力的时光都是限量版,加油!