數據清洗的方法包括哪些？

數據清洗的方法包括哪些？

清洗數據有三個方法，分別是分箱法、聚類法、回歸法。

1、分箱法

是一個經常使用到方法，所謂的分箱法，就是將需要處理的數據根據一定的規則放進箱子里，然后進行測試每一個箱子里的數據，并根據數據中的各個箱子的實際情況進行采取方法處理數據。

2、回歸法

回歸法就是利用了函數的數據進行繪制圖像，然后對圖像進行光滑處理。回歸法有兩種，一種是單線性回歸，一種是多線性回歸。單線性回歸就是找出兩個屬性的最佳直線，能夠從一個屬性預測另一個屬性。多線性回歸就是找到很多個屬性，從而將數據擬合到一個多維面，這樣就能夠消除噪聲。

3、聚類法

聚類法的工作流程是比較簡單的，但是操作起來確實復雜的，所謂聚類法就是將抽象的對象進行集合分組，成為不同的集合，找到在集合意外的孤點，這些孤點就是噪聲。這樣就能夠直接發現噪點，然后進行清除即可。

數據清洗從名字上也看的出就是把“臟”的“洗掉”，指發現并糾正數據文件中可識別的錯誤的最后一道程序，包括檢查數據一致性，處理無效值和缺失值等。

因為數據倉庫中的數據是面向某一主題的數據的集合，這些數據從多個業務系統中抽取而來而且包含歷史數據，這樣就避免不了有的數據是錯誤數據、有的數據相互之間有沖突，這些錯誤的或有沖突的數據顯然是我們不想要的，稱為“臟數據”。

我們要按照一定的規則把“臟數據”“洗掉”，這就是數據清洗。而數據清洗的任務是過濾那些不符合要求的數據，將過濾的結果交給業務主管部門，確認是否過濾掉還是由業務單位修正之后再進行抽取。

不符合要求的數據主要是有不完整的數據、錯誤的數據、重復的數據三大類。數據清洗是與問卷審核不同，錄入后的數據清理一般是由計算機而不是人工完成 。