数据预处理技术有哪些常见的数据预处理技术有哪些

来源：最后更新：22-08-08 01:06:21

导读：数据预处理技术有哪些，1、数据清理。空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除。2、数据集成。将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。3、数据变换。平滑、聚集、规范化、最小最大规范化等。4、数据归约。

有四种数据预处理技术：

　　1、数据清理。空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除。

　　2、数据集成。将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。

　　3、数据变换。平滑、聚集、规范化、最小最大规范化等。

　　4、数据归约。维归（删除不相关的属性（维））、数据压缩（PCA，LDA，SVD、小波变换）、数值归约（回归和对数线形模型、线形回归、对数线形模型、直方图）。

　　现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。数据清理例程通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。主要是达到如下目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。数据挖掘时往往数据量非常大，在少量数据上进行挖掘分析需要很长的时间，数据归约技术可以用来得到数据集的归约表示，它小得多，但仍然接近于保持原数据的完整性，并结果与归约前结果相同或几乎相同。