数据清洗是决定模型上限的关键前置环节，需识别处理缺失值、统一异常值判定、修复结构混乱、校验一致性，并强调理解数据生成逻辑比单纯修复更重要。
数据清洗不是“修修补补”，而是决定模型上限的关键前置环节。干净、一致、有业务意义的数据，才能让算法真正学到规律。
识别并处理缺失值：别只填均值
缺失不是随机噪声，背后常有业务逻辑。比如电商用户画像中“年收入”缺失，可能对应学生或隐私敏感人群，直接用均值填充反而引入偏差。
- 先统计缺失模式：按字段、按样本、按时间窗口（如日志数据中某时段集中缺失）画缺失热力图
- 区分缺失机制：是随机丢失（MAR）、完全随机（MCAR），还是因变量本身导致（MNAR）？后者需建模预测（如用XGBoost预测是否缺失）
- 填充策略按场景选：类别型用众数+“Unknown”新类；数值型用KNN插补或时序前向填充；高维稀疏特征可改用“是否缺失”作为二值特征
统一异常值判定标准：拒绝主观阈值
用固定倍数IQR或3σ一刀切，容易误杀真实长尾行为（比如大客户单笔订单额远超均值）。重点看它是否违背业务规则或数据生成逻辑。
- 结合业务定义硬约束：如“用户年龄不能120”，“订单时间不能早于系统上线日”
- 用孤立森林或LOF等无监督方法检测局部异常，比全局统计更适应分布偏斜场景
- 对疑似异常不急于删除：可标记为“outlier_flag”，后续在模型中作为特征或分组训练
修复结构混乱：从原始日志到规整表格
真实数据常混杂JSON嵌套、多级分割符、非标准时间格式。清洗目标不是“看起来整齐”，而是让每行代表一个明确业务实体（如一次点击、一笔交易）。
- 解析嵌套字段：用pandas.json_normalize展开JSON列，保留路径作为新列名（如“user.device.os”→“user_device_os”）
- 拆分复合字段：如“2025-09-01T14:23:55+08:00”用dateutil.parser自动识别时区，转为UTC时间戳再统一时区
- 合并碎片化表：按业务主键（如user_id + event_time）对齐多源数据，用outer join保留全量行为，缺失字段留空而非丢弃
校验数据一致性：清洗后必须验证
清洗脚本跑通≠数据变好。漏掉一个隐式约束，模型就可能学出荒谬规则（比如推荐商品给已注销用户）。
- 写轻量断言：如“每个用户至少有一条登录记录”、“支付成功订单的金额必须>0”
- 对比清洗前后关键指标：用户留存率、转化漏斗各环节人数、特征相关性矩阵变化
- 保存清洗日志：记录每步操作（如“删除237条重复ID”、“将12个‘N/A’替换为NaN”），支持回溯和AB测试
基本上就这些。数据清洗没有银弹，但有清晰逻辑
：理解数据怎么来的，比知道怎么修它更重要。
：理解数据怎么来的，比知道怎么修它更重要。