論文の概要: DramaAgent: Agentic Storytelling Video Generation
- arxiv url: http://arxiv.org/abs/2610.00097v1
- Date: Tue, 08 Sep 2026 16:11:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 14:48:16.367987
- Title: DramaAgent: Agentic Storytelling Video Generation
- Title(参考訳): DramaAgent: エージェントによるストーリーテリングビデオ生成
- Abstract要約: DramaAgentは、長文対ビデオ/オーディオ生成のための階層的、エージェント的、モデルに依存しないフレームワークである。
生成をストーリープランニング、永続的なキャラクタ条件付け、シーンワイズ合成、リフレクション誘導によるターゲット修復に分解する。
- 参考スコア(独自算出の注目度): 13.322648364721259
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent diffusion and autoregressive models have substantially improved text-to-video generation, yet producing coherent long-form story videos with consistent characters and aligned audio remains challenging. Existing methods often suffer from narrative drift, unstable character identity, weak cross-scene continuity, and audio-visual mismatch over extended sequences. We propose DramaAgent, a hierarchical, agentic, and model-agnostic framework for long-form text-to-video-and-audio generation. Rather than improving the underlying video backbone itself, DramaAgent introduces an upper-level control layer that decomposes generation into story planning, persistent character conditioning, scene-wise synthesis, and reflection-guided targeted repair. The framework maintains reusable story and character states across scenes, diagnoses failures such as identity drift, missing scene semantics, temporal discontinuity, and cross-modal mismatch, and repairs problematic clips in a stage-specific manner. Experiments across multiple video generation backbones show that DramaAgent improves long-horizon coherence, character consistency, narrative fidelity, and scene-level audio-visual consistency over direct generation and strong baselines. These results suggest that hierarchical agentic control is a practical direction for controllable long-form audiovisual generation. Code: https://github.com/AIGeeksGroup/DramaAgent. Website: https://aigeeksgroup.github.io/DramaAgent.
- Abstract(参考訳): 近年の拡散モデルや自己回帰モデルはテキスト・ビデオ生成を大幅に改善しているが、一貫したキャラクタとアライメントされたオーディオを備えたコヒーレントなロングフォーム・ストーリー・ビデオはいまだに困難である。
既存の手法では、物語のドリフト、不安定なキャラクターのアイデンティティ、弱いクロスシーン連続性、拡張シーケンスに対するオーディオと視覚のミスマッチに悩まされることが多い。
長文テキスト・ビデオ・オーディオ生成のための階層的,エージェント的,モデルに依存しないフレームワークであるDramaAgentを提案する。
DramaAgentは、基盤となるビデオバックボーン自体を改善するのではなく、ストーリープランニング、永続的なキャラクタ条件付け、シーンワイド合成、リフレクション誘導されたターゲット修復に生成を分解する上位レベルのコントロール層を導入している。
このフレームワークは、シーン間の再利用可能なストーリーとキャラクターの状態を維持し、アイデンティティドリフト、シーンセマンティクスの欠如、時間的不連続、モーダル間のミスマッチなどの障害を診断し、ステージ固有の方法で問題のあるクリップを修復する。
複数のビデオ生成バックボーンでの実験により、DramaAgentは、直接生成と強いベースラインよりも長い水平コヒーレンス、キャラクターの一貫性、物語の忠実さ、シーンレベルのオーディオ-視覚的一貫性を改善している。
これらの結果から,階層型エージェント制御は,制御可能な長形音声視覚生成のための実用的な方向であることが示された。
コード:https://github.com/AIGeeksGroup/DramaAgent.com
Webサイト: https://aigeeksgroup.github.io/DramaAgent.com
関連論文リスト
- ViMax: Agentic Video Generation [55.546794487716646]
ロングフォームビデオ生成には、体系的な物語計画と視覚的一貫性が必要である。
我々のフレームワークは、グローバルなストーリーコヒーレンスのための検索強化世代を備えた階層的な物語エンジンを採用している。
VLM誘導エージェントは、物語のコヒーレンスと視覚的忠実さの両方を継続的に監視し、洗練する。
論文 参考訳(メタデータ) (2026-06-02T12:55:41Z) - Soap2Soap: Long Cinematic Video Remaking via Multi-Agent Collaboration [61.98029663481308]
Soap2SoapはDualBridgeメカニズムを通じて長期の視覚的一貫性を強制するマルチエージェントフレームワークである。
クローズドループ検証エージェントは、識別、安定性、アライメントを監査し、選択的再生を誘導する。
論文 参考訳(メタデータ) (2026-05-17T12:38:21Z) - Long-Video Audio Synthesis with Multi-Agent Collaboration [20.332328741375363]
LVAS-Agentは、協調的な役割を通じてプロのダビングをエミュレートする新しいフレームワークである。
提案手法は,シーンセグメンテーション,スクリプト生成,音響設計,音声合成の4段階に分割する。
中心的なイノベーションには、シーン/スクリプトの洗練のための議論の補正機構や、時間-意味的アライメントのための世代-検索ループが含まれる。
論文 参考訳(メタデータ) (2025-03-13T07:58:23Z) - StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳(メタデータ) (2024-11-07T18:00:33Z) - MovieDreamer: Hierarchical Generation for Coherent Long Visual Sequence [62.72540590546812]
MovieDreamerは、自己回帰モデルの強みと拡散ベースのレンダリングを統合する、新しい階層的なフレームワークである。
様々な映画ジャンルにまたがって実験を行い、そのアプローチが優れた視覚的・物語的品質を実現することを示す。
論文 参考訳(メタデータ) (2024-07-23T17:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。