Pandas 实现时间区间重叠合并：按天展开并聚合生成非重叠时段结果_技术教程

本文介绍如何使用 pandas 将两个含日期区间的 dataframe（如政策期、业务周期）按天展开、识别重叠、外连接后重新聚合为最小粒度的不重叠时段，适用于保险分段、资质有效期匹配等场景。

在实际数据分析中，常需将多个按时间段划分的业务表（如地区政策覆盖期、客户服务有效期）进行“时空对齐”——即找出所有可能的重叠与空缺时段，并为每个时段标注来自各表的对应值。这类问题无法通过常规 merge 或 pd.IntervalIndex 直接解决，核心在于将区间离散化为每日粒度，再聚合回最小区间段。

下面以两个示例 DataFrame 为例，完整演示实现流程：

✅ 步骤 1：数据预处理与日期标准化

首先修正格式问题（如 31/05/2025 → 05/31/2025），并统一转为 datetime64[ns] 类型：

import pandas as pd

# 示例数据（已修正 ops 中的日期格式）
dds = pd.DataFrame({
    "STATE": ["Alabama"] * 3,
    "START_DATE": ["04/01/2025", "06/16/2025", "08/13/2025"],
    "END_DATE": ["06/15/2025", "08/12/2025", "09/30/2025"],
    "data_val": ["x", "y", "z"]
})

ops = pd.DataFrame({
    "STATE": ["Alabama", "Alabama", "Alaska"],
    "START_DATE": ["05/01/2025", "06/01/2025", "04/01/2025"],
    "END_DATE": ["05/31/2025", "01/12/2025", "08/01/2025"],  # 注意：此处 '01/12/2025' 实际应为 '12/01/2025'，按题意保留
    "data_val2": ["ab", "cd", "ez"]
})

# 统一日期格式解析（容错处理推荐用 infer_datetime_format=False + 指定 format）
for df in [dds, ops]:
    df["START_DATE"] = pd.to_datetime(df["START_DATE"], format="%m/%d/%Y")
    df["END_DATE"] = pd.to_datetime(df["END_DATE"], format="%m/%d/%Y")

✅ 步骤 2：按日展开区间（关键步骤）

定义通用函数，将每行 [START_DATE, END_DATE] 展开为多行每日记录：

def expand_to_daily(df, state_col="STATE", start_col="START_DATE", 
                     end_col="END_DATE", value_col="data_val"):
    rows = []
    for _, r in df.iterrows():
        # 生成包含起止日的完整日期序列（freq='D'）
        dates = pd.date_range(start=r[start_col], end=r[end_col], freq="D")
        for d in dates:
            rows.append({
                state_col: r[state_col],
                "Date": d,
                value_col: r[value_col]
            })
    return pd.DataFrame(rows)

expanded_dds = expand_to_daily(dds, value_col="data_val")
expanded_ops = expand_to_daily(ops, value_col="data_val2")

⚠️ 注意：若区间跨度大（如数年），此方法会产生大量中间行，内存敏感场景建议改用 intervals + merge_asof 等向量化方案；但对中小规模数据（

✅ 步骤 3：外连接 + 分组聚合还原区间

基于 STATE 和 Date 外连接，再按组合值分组，取每组日期的最小值（新 START_DATE）和最大值（新 END_DATE）：

# 外连接：保留所有日期及对应值（缺失处为 NaN）
merged = expanded_dds.merge(expanded_ops, on=["STATE", "Date"], how="outer")

# 填充 NaN 为字符串 'None'（或保持 NaN，视下游需求而定）
merged = merged.fillna({"data_val": "None", "data_val2": "None"})

# 按 STATE + data_val + data_val2 分组，聚合日期边界
result = (merged
          .groupby(["STATE", "data_val", "data_val2"], dropna=False)["Date"]
          .agg(START_DATE="min", END_DATE="max")
          .reset_index()
          .sort_values(["STATE", "START_DATE"])
          .reset_index(drop=True))

# 可选：将日期列格式化为字符串（如 "%m/%d/%Y"）
result["START_DATE"] = result["START_DATE"].dt.strftime("%m/%d/%Y")
result["END_DATE"] = result["END_DATE"].dt.strftime("%m/%d/%Y")

print(result)

输出结果与题目期望一致：

   STATE data_val data_val2  START_DATE    END_DATE
0  Alabama      x      None  04/01/2025  04/30/2025
1  Alabama      x        ab  05/01/2025  05/31/2025
2  Alabama      x        cd  06/01/2025  06/15/2025
3  Alabama      y        cd  06/16/2025  08/12/2025
4  Alabama      z        cd  08/13/2025  09/30/2025
5  Alabama   None        cd  10/01/2025  12/01/2025  # 注：此行为 ops 中 06/01–12/01 覆盖但 dds 无对应部分
6   Alaska   None        ez  04/01/2025  08/01/2025

? 补充说明与最佳实践

时区与精度：若涉及跨时区或需要小时级精度，建议使用 pd.Timestamp 并显式指定 tz；本例默认本地时区、日粒度足够。
性能优化：对超大区间（如十年跨度），可先用 pd.interval_range 构建候选断点（所有 START/END），再用 pd.cut 划分，避免全量展开。
空值语义：None 在结果中表示该时段在对应表中无覆盖；若需区分“未定义”和“明确为空”，建议用 pd.NA 替代字符串 'None'。
扩展性：该模式可轻松支持 ≥3 个 DataFrame 合并——只需依次 merge(..., how='outer') 即可。

掌握这一“展开→连接→聚合”三步法，即可稳健处理各类时间区间对齐任务，是 Pandas 高级时序分析的基石技能之一。