Fugu-MT 論文翻訳(概要): GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration

論文の概要: GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration

arxiv url: http://arxiv.org/abs/2412.04440v1
Date: Thu, 05 Dec 2024 18:56:05 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-06 14:40:29.274057
Title: GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
Title（参考訳）: GenMAC: マルチエージェントコラボレーションによる合成テキスト・ビデオ生成
Authors: Kaiyi Huang, Yukun Huang, Xuefei Ning, Zinan Lin, Yu Wang, Xihui Liu,
Abstract要約: コンポジションテキスト・ビデオ生成を可能にする反復型マルチエージェントフレームワークであるGenMACを提案する。コラボレーションワークフローには、Design、Generation、Redesignの3つのステージが含まれている。コンポジションテキスト・ビデオ生成の多様なシナリオに対処するために,各シナリオに特化している修正エージェントのコレクションから適切な修正エージェントを適応的に選択するセルフルーティング機構を設計する。
参考スコア（独自算出の注目度）: 20.988801611785522
License:
Abstract: Text-to-video generation models have shown significant progress in the recent years. However, they still struggle with generating complex dynamic scenes based on compositional text prompts, such as attribute binding for multiple objects, temporal dynamics associated with different objects, and interactions between objects. Our key motivation is that complex tasks can be decomposed into simpler ones, each handled by a role-specialized MLLM agent. Multiple agents can collaborate together to achieve collective intelligence for complex goals. We propose GenMAC, an iterative, multi-agent framework that enables compositional text-to-video generation. The collaborative workflow includes three stages: Design, Generation, and Redesign, with an iterative loop between the Generation and Redesign stages to progressively verify and refine the generated videos. The Redesign stage is the most challenging stage that aims to verify the generated videos, suggest corrections, and redesign the text prompts, frame-wise layouts, and guidance scales for the next iteration of generation. To avoid hallucination of a single MLLM agent, we decompose this stage to four sequentially-executed MLLM-based agents: verification agent, suggestion agent, correction agent, and output structuring agent. Furthermore, to tackle diverse scenarios of compositional text-to-video generation, we design a self-routing mechanism to adaptively select the proper correction agent from a collection of correction agents each specialized for one scenario. Extensive experiments demonstrate the effectiveness of GenMAC, achieving state-of-the art performance in compositional text-to-video generation.
Abstract（参考訳）: 近年,テキスト・ビデオ生成モデルが大きく進歩している。しかしながら、複数のオブジェクトに対する属性バインディング、異なるオブジェクトに関連する時間的ダイナミクス、オブジェクト間の相互作用など、コンポジションテキストプロンプトに基づいた複雑な動的シーンの生成には依然として苦労している。我々の主要な動機は、複雑なタスクをより単純なタスクに分解でき、それぞれが役割特定MLLMエージェントによって処理されることである。複数のエージェントが協力して複雑な目標の集合的知性を達成することができる。コンポジションテキスト・ビデオ生成を可能にする反復型マルチエージェントフレームワークであるGenMACを提案する。コラボレーションワークフローには、デザイン、ジェネレーション、リデザインの3つのステージが含まれており、生成とリデザインのステージの間に反復ループがあり、生成したビデオを段階的に検証し、洗練する。 Redesignのステージは、生成したビデオの検証、修正の提案、テキストプロンプトの再設計、フレームワイドレイアウト、そして次の世代のためのガイダンススケールを目標とする最も難しいステージである。 1つのMLLMエージェントの幻覚を避けるため、このステージを4つの逐次実行MLLMベースのエージェント(検証エージェント、提案エージェント、修正エージェント、出力構造化エージェント)に分解する。さらに,コンポジションテキスト・ビデオ生成の多様なシナリオに対処するために,各シナリオに特化している修正エージェントのコレクションから適切な修正エージェントを適応的に選択するセルフルーティング機構を設計する。大規模な実験はGenMACの有効性を実証し、合成テキスト・ビデオ生成における最先端の性能を達成する。

関連論文リスト

CoMA: Compositional Human Motion Generation with Multi-modal Agents [22.151443524452876]
CoMAは複雑な人間の動きの生成、編集、理解のためのエージェントベースのソリューションである。我々のフレームワークは、細かな指示、テキスト誘導モーション編集、自己補正による短い動きシーケンスと長い動きシーケンスの生成を可能にする。
論文参考訳（メタデータ） (2024-12-10T09:08:41Z)
VideoGen-of-Thought: A Collaborative Framework for Multi-Shot Video Generation [70.61101071902596]
現在の世代モデルは短いクリップを生成するのに優れていますが、マルチショット映画のようなビデオを作るのに苦戦しています。マルチショットビデオ生成に特化して設計された協調学習不要なアーキテクチャであるVideoGen-of-Thought (VGoT)を提案する。我々の実験は、VGoTが高品質でコヒーレントなマルチショットビデオを作成する際に、既存のビデオ生成方法を上回ることを実証している。
論文参考訳（メタデータ） (2024-12-03T08:33:50Z)
StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。 StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文参考訳（メタデータ） (2024-11-07T18:00:33Z)
Scene Graph Disentanglement and Composition for Generalizable Complex Image Generation [44.457347230146404]
我々は、複雑な画像生成に強力な構造化表現であるシーングラフを利用する。本稿では,変分オートエンコーダと拡散モデルの生成能力を一般化可能な方法で活用する。本手法は,テキスト,レイアウト,シーングラフに基づいて,近年の競合より優れています。
論文参考訳（メタデータ） (2024-10-01T07:02:46Z)
GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing [60.09562648953926]
GenArtistは、マルチモーダル大言語モデル(MLLM)エージェントによって調整された統合画像生成および編集システムである。ツールライブラリに既存のモデルを包括的に統合し,ツールの選択と実行にエージェントを利用する。実験により、GenArtistは様々な生成および編集タスクを実行でき、最先端のパフォーマンスを達成できることが示された。
論文参考訳（メタデータ） (2024-07-08T04:30:53Z)
Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文参考訳（メタデータ） (2024-06-28T10:05:58Z)
Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation [72.6168579583414]
CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
論文参考訳（メタデータ） (2024-01-28T16:18:39Z)
CCA: Collaborative Competitive Agents for Image Editing [55.500493143796405]
本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
論文参考訳（メタデータ） (2024-01-23T11:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。