在進(jìn)行數(shù)據(jù)分析項(xiàng)目案例之前,需要了解數(shù)據(jù)的情況,有時(shí)候拿到的數(shù)據(jù)并不是想象中的完美數(shù)據(jù),那么就需要進(jìn)行預(yù)處理后才能使用。為了系統(tǒng)的縷清預(yù)處理的一般的步驟,這里進(jìn)行詳細(xì)的梳理,采用sklearn工具包和手寫代碼驗(yàn)證的方式進(jìn)行。
數(shù)據(jù)標(biāo)準(zhǔn)化1.1 標(biāo)準(zhǔn)化定義
標(biāo)準(zhǔn)化的定義:又被稱為均值移除(mean removal),對(duì)不同樣本的同一特征值進(jìn)行處理,最終均值為0,標(biāo)準(zhǔn)差為1,采用此種方式我們只需要使用如下公式即可。
1.2 為什么要進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化?在機(jī)器學(xué)習(xí)中,很多的算法和評(píng)估模型的好壞的方法都是基于距離(殘差)的處理