論文の概要: VideoAgent: All-in-One Framework for Video Understanding and Editing
- arxiv url: http://arxiv.org/abs/2606.23327v1
- Date: Mon, 22 Jun 2026 13:37:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:37:15.839676
- Title: VideoAgent: All-in-One Framework for Video Understanding and Editing
- Title（参考訳）: VideoAgent: ビデオ理解と編集のためのオールインワンフレームワーク
- Authors: Hengji Zhou, Lingxuan Huang, Jian Wang, Bing Zhou, Si Wu, Lianghao Xia, Chao Huang,
- Abstract要約: VideoAgentはビデオ編集のためのオールインワンのエージェントフレームワークである。
我々は、コヒーレントな物語のための撮影計画エージェントを用いた自動撮影を作成する。
Intent parsing filters relevant tools while textual-gradient graph optimizationsasse editing pipelines。
- 参考スコア（独自算出の注目度）: 26.019384130449733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video editing has become essential in digital media creation, yet existing automated systems are restricted to short segment processing and domain-specific tasks. They face two critical limitations: i) inability to handle diverse video comprehension and editing operations, and ii) lack of long-video understanding for coherent narrative creation. We propose VideoAgent, an all-in-one agentic framework addressing these challenges through two key innovations. First, we develop automated video shot creation with shot planning agents for coherent narratives and cross-modal retrieval for aligned visual content. Second, we design a multi-agent orchestration framework integrating over thirty specialized editing agents. Intent parsing filters relevant tools while textual-gradient graph optimization assembles complex editing pipelines. Extensive experiments on our newly-proposed VideoEdit benchmark and public datasets demonstrate VideoAgent's superiority over existing multimodal LLMs and agentic systems. VideoAgent achieves 87-95% orchestration success rates while reducing API costs by 60%. Human evaluation across six video categories shows VideoAgent produces professional-quality content approaching human-level performance, with ratings only 4% below human-created videos. We release our code at https://github.com/HKUDS/VideoAgent.
- Abstract（参考訳）: ビデオ編集はデジタルメディア作成において不可欠となっているが、既存の自動化システムはショートセグメント処理やドメイン固有のタスクに限定されている。
それらは2つの限界に直面している。
一 多様な映像理解及び編集作業に対処できないこと、及び
二 コヒーレントな物語創造のための長編の理解の欠如
我々は,これら課題に対処するオールインワンのエージェントフレームワークであるVideoAgentを提案する。
まず、コヒーレントなナラティブのためのショットプランニングエージェントと、アライメントされたビジュアルコンテンツのためのクロスモーダル検索を用いた自動映像生成を開発する。
第2に、30以上の特殊な編集エージェントを統合するマルチエージェントオーケストレーションフレームワークを設計する。
Intent parsing filterは関連するツールを解析し、textual-gradient graph optimizationは複雑な編集パイプラインを組み立てる。
新たに発表されたVideoEditベンチマークと公開データセットの大規模な実験は、既存のマルチモーダルLLMやエージェントシステムよりもVideoAgentの方が優れていることを示している。
VideoAgentは87～95%のオーケストレーション成功率を実現し、APIコストを60%削減した。
6つのビデオカテゴリーにまたがる人間の評価は、ビデオAgentが人間レベルのパフォーマンスに近づくプロの質の高いコンテンツを制作していることを示している。
コードについてはhttps://github.com/HKUDS/VideoAgent.comで公開しています。
関連論文リスト
- Beyond End-to-End Video Models: An LLM-Based Multi-Agent System for Educational Video Generation [15.004606775581356]
LAVESは、教育問題から高品質な指導ビデオを生成する階層型マルチエージェントシステムである。
大規模なデプロイメントでは、LAVESは1日に100万ビデオを超えるスループットを実現し、95%以上のコスト削減を実現している。
論文 参考訳（メタデータ） (2026-02-12T10:14:36Z) - A Versatile Multimodal Agent for Multimedia Content Generation [66.86040734610073]
複雑なコンテンツ作成タスクの自動化を目的としたMultiMedia-Agentを提案する。
エージェントシステムには、データ生成パイプライン、コンテンツ作成のためのツールライブラリ、嗜好アライメントを評価するためのメトリクスセットが含まれている。
論文 参考訳（メタデータ） (2026-01-06T18:49:47Z) - LongVideoAgent: Multi-Agent Reasoning with Long Videos [69.28914905197426]
本稿では,主LLMが問題関連セグメントの局所化のために接地エージェントをコーディネートするマルチエージェントフレームワークと,対象とするテキスト観察を抽出する視覚エージェントを提案する。
マスターエージェントは、ステップ制限で計画し、簡潔で正確で効率的なマルチエージェント協調を促進するために強化学習で訓練されている。
テレビQA/TVQA+から集約したエピソードレベルのデータセットであるLongTVQAとLongTVQA+では,マルチエージェントシステムは強力な非エージェントベースラインよりも大幅に優れています。
論文 参考訳（メタデータ） (2025-12-23T18:59:49Z) - UniVA: Universal Video Agent towards Open-Source Next-Generation Video Generalist [107.04196084992907]
次世代ビデオジェネラリストのためのオールニ対応マルチエージェントフレームワークUniVAを紹介する。
UniVAはPlan-and-Actのデュアルエージェントアーキテクチャを採用しており、高度に自動化されプロアクティブなワークフローを駆動している。
また、理解、編集、セグメンテーション、生成にまたがるマルチステップビデオタスクのベンチマークスイートUniVA-Benchについても紹介する。
論文 参考訳（メタデータ） (2025-11-11T17:58:13Z) - Deep Video Discovery: Agentic Search with Tool Use for Long-form Video Understanding [60.88843818016968]
長時間のビデオ理解は時間空間の複雑さと質問応答の難しさによって大きな課題を呈する。
セグメント化されたビデオクリップ上でのエージェント検索戦略を活用するために,Deep Video Discovery (DVD) エージェントを提案する。
当社のDVDエージェントは,LVBenchデータセット上での最先端性能を実現し,74.2%の精度を実現した。
論文 参考訳（メタデータ） (2025-05-23T16:37:36Z) - VideoMultiAgents: A Multi-Agent Framework for Video Question Answering [11.514596823413736]
Video Question Answering (VQA) は本質的にマルチモーダル推論に依存している。
本稿では,視覚,シーングラフ解析,テキスト処理などの特殊エージェントを統合するフレームワークであるVideoMultiAgentsを紹介する。
提案手法は, 対象, 行動, 時間的遷移をハイライトするキャプションを生成する, 質問誘導キャプション生成を補足する。
論文 参考訳（メタデータ） (2025-04-25T22:08:09Z) - StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳（メタデータ） (2024-11-07T18:00:33Z) - OmAgent: A Multi-modal Agent Framework for Complex Video Understanding with Task Divide-and-Conquer [14.503628667535425]
広範なビデオの処理は、膨大なデータと処理要求のために大きな課題をもたらします。
我々はOmAgentを開発し、特定のクエリの関連ビデオフレームを効率的に保存し、検索する。
自律推論が可能なDivide-and-Conquer Loopを備えている。
より高度な自律性と堅牢なツールコールシステムを備えており、さらに複雑なタスクを達成できます。
論文 参考訳（メタデータ） (2024-06-24T13:05:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。