論文の概要: Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut
- arxiv url: http://arxiv.org/abs/2609.35143v1
- Date: Mon, 28 Sep 2026 13:28:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 16:40:14.064195
- Title: Timeline-Bench: Evaluating Agents on Realistic Video-Editing Tasks, from Raw Footage to Final Cut
- Title（参考訳）: Timeline-Bench: リアルなビデオ編集作業におけるエージェントの評価
- Abstract要約: Timeline-Benchは56の実際のビデオ編集タスクのベンチマークである。
各タスクは、簡単なソースアセット、コンテナ、一連のテストを提供する。
テストはデリバリフォーマット、コンテンツ、およびブリーフの明示的な要件をチェックします。
- 参考スコア（独自算出の注目度）: 0.07646713951724012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI agents increasingly carry out long-horizon professional work, but their evaluations rarely require a finished creative deliverable. To this end, we introduce Timeline-Bench, a benchmark of 56 real video-editing tasks, each asking an agent to turn raw production material into a finished video. Tasks range from selecting dialog takes and shaping interview footage into a story to cutting commercials from product shots, voiceovers and graphics. Every task provides a brief, source assets, a container and a set of tests. A task is resolved when the output passes every test. The tests check the delivery format, the content and the brief's explicit requirements, and include a quality test calibrated on 2,582 blind judgments by 43 video editors. We evaluate 16 agents that pair frontier models with coding-agent harnesses such as Codex, Claude Code and OpenCode. The best, GPT-6 Astra in Codex with curated editorial guidance, resolves only 15 of the 56 tasks (26.8%), and the average agent resolves 14.0%. Human editors prefer the reference edit in 83.5% of judgments. Most unresolved runs (562 of 771) fail only the quality test: agents perceive footage through stills and transcripts and check their renders for defects, not craft. We release the tasks, verifier and per-run results at https://timelinebench.tensortest.com.
- Abstract（参考訳）: AIエージェントはますます長期のプロフェッショナルな仕事をこなすが、その評価には創造的な成果が必要とされることはめったにない。
この目的のために,56のリアルタイムビデオ編集タスクのベンチマークであるTimeline-Benchを紹介した。
タスクは、ダイアログの撮影からインタビュー映像のストーリー化、製品ショット、ボイスオーバー、グラフィックのコマーシャルのカットまでさまざまだ。
すべてのタスクは、簡単なソース資産、コンテナ、一連のテストを提供する。
出力がすべてのテストに合格すると、タスクは解決される。
テストは、配信フォーマット、コンテンツ、およびブリーフの明示的な要件をチェックし、43人のビデオ編集者による2,582人の盲点判定で調整された品質テストを含む。
CodexやClaude Code,OpenCodeといったコーディングエージェントとフロンティアモデルを組み合わせた16のエージェントを評価した。
コーデックスのGPT-6 Astraは、56タスクのうち15タスク(26.8%)しか解決せず、平均エージェントは14.0%である。
人間の編集者は83.5%の判断で参照編集を好む。
ほとんどの未解決のランニング(771年のうち562回)は品質テストに失敗する。
タスク、検証、実行毎の結果はhttps://timelinebench.tensortest.comで公開しています。
関連論文リスト
- ControlScope: Workflow Revision and Reliability in LLM Agents [0.7460935829208671]
ControlScopeは生成されたコードを比較し、次のツールコールのデータ引数を編集し、未完成のワークフローを同じ公開実行状態から置き換える。
タスク、ALFWorld、AppWorldで1回、繰り返しレビューを評価します。
論文 参考訳（メタデータ） (2026-09-28T04:53:45Z) - Crayotter: Traceable Multi-Agent Workflows for Long-Form Video Editing [18.640980775340637]
Crayotterは、プロンプト駆動のビデオ編集のためのオープンソースのマルチモーダルマルチエージェントシステムである。
Crayotterは、カバレッジ対応の素材準備、アーティファクトベースの編集研究、ツールグラウンドのタイムライン実行という3つのフェーズで構成されている。
論文 参考訳（メタデータ） (2026-05-31T14:07:57Z) - AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks? [17.55055137480804]
ビデオ制作は、マルチモーダルAIエージェントを評価するためのリッチで要求の多い場を提供する。
AgenticVBenchは、実世界のポストプロダクションワークフローにまたがる4つのタスクファミリーにまたがる100のエージェントタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-05-26T21:27:16Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawBench: Can AI Agents Complete Everyday Online Tasks? [50.958690494341106]
ClawBenchは153のシンプルなタスクの評価フレームワークで、人々が人生や仕事で定期的に達成する必要がある。
ClawBenchは本番Webサイトで動作し、実世界のWebインタラクションの完全な複雑さ、動的な性質、課題を保存する。
軽量なインターセプション層は、最終的なリクエストのみをキャプチャしてブロックし、現実世界の副作用なしに安全な評価を保証する。
論文 参考訳（メタデータ） (2026-04-09T17:57:13Z) - Edit, But Verify: An Empirical Audit of Instructed Code-Editing Benchmarks [2.5424331328233203]
命令付きコード編集は、現実世界のコーディングアシスタントのインタラクションの約19%を占める。
150以上のコード関連ベンチマークから、指示されたコード編集をターゲットとするCanItEditとEDIT-Benchの2つのみが見つかった。
論文 参考訳（メタデータ） (2026-04-06T18:59:42Z) - Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces [126.23612941699565]
Terminal-Bench 2.0は、現実世界の問題に触発されたコンピュータ端末環境における89のタスクからなるベンチマークである。
ベンチマークでは、フロンティアモデルとエージェントのスコアが65%未満であることが示されています。
将来的にはhttps://www.tbench.ai/で開発者や研究者を支援するために、データセットと評価ハーネスを公開しています。
論文 参考訳（メタデータ） (2026-01-17T01:29:30Z) - Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。
知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。
このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
論文 参考訳（メタデータ） (2023-05-23T07:54:37Z) - MovieCuts: A New Dataset and Benchmark for Cut Type Recognition [114.57935905189416]
本稿では,マルチモーダル情報のモデリングを必要とするカット型認識タスクを提案する。
10種類のカットタイプにラベル付けされた170万以上のビデオクリップを含む大規模なデータセット、MovieCutsを構築した。
我々の最良のモデルは45.7%のmAPを達成しており、これはタスクが困難であり、高精度なカット型認識がオープンな研究課題であることを示している。
論文 参考訳（メタデータ） (2021-09-12T17:36:55Z) - Learning to Cut by Watching Movies [114.57935905189416]
本稿は,コンピュータ映像編集の新しい課題,すなわちカットの可否をかき集めることに焦点を当てる。
私たちのキーとなるアイデアは、すでに編集済みのコンテンツを活用して、カットをトリガーするきめ細かいオーディオ視覚パターンを学ぶことです。
コントラスト学習により,リアルカットと人工カットの区別を学習するモデルを考案する。
論文 参考訳（メタデータ） (2021-08-09T18:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。