Montage AI — 公开数据集 & Benchmark 调研报告

2026-07-06 | Benchmark 构建与算法迭代参考
基于前期调研确定的内容类型（P0-P1），梳理可公开获取的数据集、评测基准和工具链

---

一、核心结论

一句话：Montage AI 的 ~20 种剪辑原语中，绝大多数都有可直接使用的公开数据集和成熟 benchmark。最大的空白在 UGC 广告素材 和 电商视频 领域 — 需要自建数据集。

三个关键发现：

• 场景检测、字幕生成、语音识别 是数据最充裕的方向，可直接下载数十万量级标注数据
• 视频高光检测、播客切片 有中等规模的学术数据集，需要用业务数据补充
• UGC 广告素材编辑、电商商品视频 几乎没有公开数据集 — 这也是我们的竞争壁垒所在，需要靠 Waitlist 用户和合作获取

---

二、按核心能力分类的数据集全景

2.1 场景检测 / 镜头边界检测 (Shot Boundary Detection)

对应内容类型：所有类型（基础能力）

推荐工具/预训练模型：

• TransNet V2 — SOTA 镜头检测模型，F1 > 95%，GitHub 开源
• PySceneDetect — 基于阈值的轻量方案，适合快速集成，PyPI

Benchmark 建议：用 ClipShots 做主基准，MovieNet 做电影/长视频场景测试。指标：F1 Score、召回率、精确率。

---

2.2 视频高光检测 / 精彩片段提取

对应内容类型：游戏直播切片 (P1)、YouTube 长视频 (P1)、播客切片

游戏领域特定数据：

• Twitch Highlights Dataset — 研究者从 Twitch 弹幕/聊天峰值提取的高光标注，多个学术论文使用
• PUBG/LoL Highlight — 社区开源的游戏击杀/精彩操作标注（GitHub 散布）

Benchmark 建议：QVHighlights 做查询驱动高光检测的主基准（最接近"用户说要什么"的场景），TVSum/SumMe 做通用视频摘要基准。指标：mAP、HIT@1、Kendall τ（与人类排序的相关性）。

---

2.3 语音识别 / ASR (自动字幕生成)

对应内容类型：所有类型（基础能力）

推荐工具/预训练模型：

• Whisper (large-v3) — OpenAI 开源，多语言 SOTA，可直接集成
• FunASR (达摩院) — 阿里开源，中文 ASR 极强，含标点/热词/时间戳
• faster-whisper — CTranslate2 加速版 Whisper，推理速度 4x

Benchmark 建议：英语用 LibriSpeech test-clean/test-other，中文用 AISHELL-1 test。指标：WER (Word Error Rate) / CER (Character Error Rate)。

---

2.4 口水词 / 填充词检测 (Filler Word Detection)

对应内容类型：播客视频化 (P0)、知识付费/教程 (P1)、YouTube 长视频 (P1)

中文口水词数据：

• HKUST/MTS — 中文电话对话数据集，含犹豫/重复标注
• 目前没有公开的大规模中文口水词专项数据集 → 需要自建

替代方案：用 ASR + 规则检测：

• Whisper/FunASR 输出带时间戳的逐词转录
• 规则匹配填充词列表（英文：um, uh, like, you know, so, basically 等；中文：嗯、啊、那个、就是、然后 等）
• 结合静音检测（VAD）识别无效停顿
• 这个方案不需要专项训练数据，MVP 可直接使用

Benchmark 建议：Switchboard 上的 Disfluency Detection 任务是学术标准。自建评测集：从 YouTube/播客采样 100 段 2 分钟片段，人工标注口水词时间戳。指标：Precision/Recall/F1（按时间窗口匹配）。

---

2.5 音乐 / 节拍检测 (Beat Tracking & Music Analysis)

对应内容类型：快节奏卡点风格、音乐 MV 混剪、电商视频 BGM

推荐工具/预训练模型：

• madmom — Python 音乐信息检索库，节拍/下拍/速度检测 SOTA，GitHub 开源
• librosa — 通用音频分析，onset/tempo/beat 检测，PyPI
• Demucs (Meta) — 音源分离 SOTA，可分离人声/伴奏，GitHub 开源
• Essentia (MTG) — 全面的音频分析库，含情绪/节奏/调性

Benchmark 建议：Ballroom + SMC 做节拍检测基准。FMA/MTG-Jamendo 做 BGM 情绪匹配基准。指标：F-measure（节拍准确率，±70ms 容忍窗口）、P-score、AMLt。

---

2.6 视频理解 / 内容分类

对应内容类型：所有类型（Agent 理解素材的基础）

Benchmark 建议：Kinetics-700 做动作识别基准，HowTo100M 做教程视频理解基准，MVBench 做综合视频理解评测。

---

2.7 视频字幕 / 描述生成

对应内容类型：所有类型（字幕、标题卡生成）

Benchmark 建议：MSR-VTT 做字幕生成基准，VATEX 做中英双语基准。指标：BLEU-4、METEOR、CIDEr、ROUGE-L。

---

2.8 人脸检测 / 追踪（竖屏裁切跟随）

对应内容类型：播客视频化 (P0)、口播讲解、游戏直播切片

推荐工具：

• MediaPipe Face Mesh — Google 开源，实时人脸/姿态检测，适合竖屏裁切
• RetinaFace — 高精度人脸检测，GitHub 开源
• ByteTrack — SOTA 多目标追踪，GitHub 开源

---

2.9 视频质量评估 (VQA)

对应内容类型：所有类型（成品质量把关）

推荐工具：

• DOVER (ECCV 2024) — 当前 SOTA 无参考视频质量评估，GitHub 开源

---

2.10 视频编辑专项 (Video Editing Benchmarks) 最新

直接评测 AI 视频编辑能力

---

三、按内容类型交叉映射

哪些数据集服务于哪个 P0/P1 内容类型？✅ = 直接适用，⚠️ = 间接适用

---

四、数据空白分析 & 自建数据计划

4.1 完全空白（无公开数据集）

4.2 部分可用（需业务数据补充）

4.3 Waitlist 数据收集策略

结合 Waitlist 的第 8 道开放题（用户输入编辑意图），可以构建：

1. 意图理解训练集 — 用户自然语言指令 → Agent 理解的结构化参数
2. 真实素材样本 — 邀请 Beta 用户上传素材（获得授权），构建私有评测集
3. 人工偏好数据 — A/B 对比两种剪辑风格，让用户投票，构建 RLHF 数据

---

五、推荐 Benchmark 体系设计

5.1 分层 Benchmark

5.2 自动化评测流程

`

1. CI 触发 → 自动跑 L0 基础能力 benchmark
2. 通过后 → 跑 L1 组合能力 benchmark
3. 通过后 → 部署到 staging → 跑 L2 端到端评测
4. 人工审核 L2 结果 → 决定是否发布

`

---

六、完整获取清单（按优先级）

立即可下载（免费，无申请）

1. ClipShots — 场景检测 → git clone
2. TVSum / SumMe — 视频摘要 → git clone
3. QVHighlights — 查询驱动高光 → git clone
4. LibriSpeech — 英文 ASR → wget
5. Common Voice — 多语言 ASR → 网站下载
6. WenetSpeech — 中文 ASR → git clone
7. MUSDB18 — 音源分离 → Zenodo 下载
8. FMA — 音乐分析 → git clone
9. MTG-Jamendo — BGM 情绪匹配 → 下载
10. MusicCaps — 音乐描述 → Kaggle
11. WIDER FACE — 人脸检测 → 网站下载
12. MSR-VTT — 视频字幕 → 下载
13. VATEX — 中英字幕 → 网站下载
14. HowTo100M — 教程视频 → git clone
15. LSVQ — 视频质量 → git clone
16. Kinetics-700 — 动作理解 → 下载
17. MovieNet — 电影理解 → 网站下载
18. PySceneDetect — 场景检测工具 → pip install
19. TransNet V2 — 镜头检测模型 → git clone
20. madmom — 节拍检测 → pip install
21. Demucs — 音源分离 → pip install
22. MediaPipe — 人脸追踪 → pip install

需要申请（免费但有流程）

1. Switchboard — 口水词/不流畅 → LDC 学术许可
2. Ego4D — 第一人称视频 → Meta Research 申请
3. Something-Something V2 — 视频理解 → 申请
4. IACC.3 (TRECVID) — 镜头边界 → NIST 申请

需要自建

1. UGC 广告素材结构标注 (~500 条, ¥2,500)
2. 电商商品视频结构标注 (~500 条, ¥2,500)
3. 中文口水词标注 (~100h, ¥5,000)
4. Retention Editing 手法标注 (~100 条, ¥3,000)
5. 端到端剪辑质量评测集 (~50 条, ¥2,000)

自建总预算：约 ¥15,000

---

七、下一步行动

---

调研数据截至 2026-07-06，基于公开论文、GitHub 仓库和数据集网站。数据集可用性可能变化。