論文の概要: GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing

• arxiv url: http://arxiv.org/abs/2407.05600v2
• Date: Mon, 28 Oct 2024 14:08:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 23:24:33.848622
• Title: GenArtist: Multimodal LLM as an Agent for Unified Image Generation and Editing
• Title（参考訳）: GenArtist: 統一画像生成と編集のエージェントとしてのマルチモーダルLCM
• Authors: Zhenyu Wang, Aoxue Li, Zhenguo Li, Xihui Liu,
• Abstract要約: GenArtistは、マルチモーダル大言語モデル(MLLM)エージェントによって調整された統合画像生成および編集システムである。 ツールライブラリに既存のモデルを包括的に統合し,ツールの選択と実行にエージェントを利用する。 実験により、GenArtistは様々な生成および編集タスクを実行でき、最先端のパフォーマンスを達成できることが示された。
• 参考スコア（独自算出の注目度）: 60.09562648953926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success achieved by existing image generation and editing methods, current models still struggle with complex problems including intricate text prompts, and the absence of verification and self-correction mechanisms makes the generated images unreliable. Meanwhile, a single model tends to specialize in particular tasks and possess the corresponding capabilities, making it inadequate for fulfilling all user requirements. We propose GenArtist, a unified image generation and editing system, coordinated by a multimodal large language model (MLLM) agent. We integrate a comprehensive range of existing models into the tool library and utilize the agent for tool selection and execution. For a complex problem, the MLLM agent decomposes it into simpler sub-problems and constructs a tree structure to systematically plan the procedure of generation, editing, and self-correction with step-by-step verification. By automatically generating missing position-related inputs and incorporating position information, the appropriate tool can be effectively employed to address each sub-problem. Experiments demonstrate that GenArtist can perform various generation and editing tasks, achieving state-of-the-art performance and surpassing existing models such as SDXL and DALL-E 3, as can be seen in Fig. 1. Project page is https://zhenyuw16.github.io/GenArtist_page.
• Abstract（参考訳）: 既存の画像生成・編集手法の成功にもかかわらず、現在のモデルは複雑なテキストプロンプトを含む複雑な問題に苦慮しており、検証と自己補正機構がないため、生成した画像は信頼できない。 一方、単一のモデルは特定のタスクを専門化し、対応する能力を持つ傾向があり、すべてのユーザー要求を満たすのに不十分である。 我々は,マルチモーダル大言語モデル (MLLM) エージェントによって調整された統合画像生成編集システムであるGenArtistを提案する。 ツールライブラリに既存のモデルを包括的に統合し,ツールの選択と実行にエージェントを利用する。 複雑な問題に対して、MLLMエージェントは、それをより単純なサブプロブレムに分解し、ステップバイステップの検証で生成、編集、自己補正の手順を体系的に計画するツリー構造を構築する。 位置関連入力を自動生成し、位置情報を組み込むことで、各サブプロブレムに対処する適切なツールを効果的に利用することができる。 実験によると、GenArtistは様々な生成および編集タスクを実行でき、最先端のパフォーマンスを実現し、SDXLやDALL-E 3といった既存のモデルを上回ることができる。 プロジェクトページはhttps://zhenyuw16.github.io/GenArtist_page。

関連論文リスト

• EditAR: Unified Conditional Generation with Autoregressive Models [58.093860528672735]
  本稿では,条件付き画像生成タスクのための単一の統合自己回帰フレームワークであるEditARを提案する。 このモデルは、画像と命令の両方を入力として取り、バニラの次のパラダイムで編集された画像トークンを予測する。 確立されたベンチマークにおいて,様々なタスクにまたがる実効性を評価し,様々なタスク固有の手法に対する競争性能を示す。
  論文  参考訳（メタデータ） (2025-01-08T18:59:35Z)
• UNIC-Adapter: Unified Image-instruction Adapter with Multi-modal Transformer for Image Generation [64.8341372591993]
  一つのフレームワーク内で制御可能な生成を統一するための新しいアプローチを提案する。 具体的には,Multi-Modal-Diffusion Transformerアーキテクチャ上に構築された統合イメージインストラクションアダプタ(UNIC-Adapter)を提案する。 UNIC-Adapterは条件付き画像とタスク命令の両方を組み込んだマルチモーダル命令情報を効果的に抽出する。
  論文  参考訳（メタデータ） (2024-12-25T15:19:02Z)
• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• GraPE: A Generate-Plan-Edit Framework for Compositional T2I Synthesis [10.47359822447001]
  本稿では,複雑な多段階生成のタスクを3段階に分解する,T2I合成の代替パラダイムを提案する。 提案手法は,モジュール性が高く,トレーニングが自由であり,画像生成モデルと編集モデルの組み合わせに対して適用可能であるという事実から,その強みを導出する。
  論文  参考訳（メタデータ） (2024-12-08T22:29:56Z)
• GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration [20.988801611785522]
  コンポジションテキスト・ビデオ生成を可能にする反復型マルチエージェントフレームワークであるGenMACを提案する。 コラボレーションワークフローには、Design、Generation、Redesignの3つのステージが含まれている。 コンポジションテキスト・ビデオ生成の多様なシナリオに対処するために,各シナリオに特化している修正エージェントのコレクションから適切な修正エージェントを適応的に選択するセルフルーティング機構を設計する。
  論文  参考訳（メタデータ） (2024-12-05T18:56:05Z)
• SPAgent: Adaptive Task Decomposition and Model Selection for General Video Generation and Editing [50.098005973600024]
  セマンティック・プランニング・エージェント(SPAgent)を利用した新しい映像生成・編集システムを提案する。 SPAgentは、多様なユーザ意図と既存の生成モデルの有効利用の間のギャップを埋める。 実験結果は、SPAgentが効果的にモデルをコーディネートしてビデオの生成や編集を行うことを示した。
  論文  参考訳（メタデータ） (2024-11-28T08:07:32Z)
• Divide and Conquer: Language Models can Plan and Self-Correct for Compositional Text-to-Image Generation [72.6168579583414]
  CompAgentは、大規模な言語モデル(LLM)エージェントをコアとして、コンポジションテキスト・画像生成のためのトレーニング不要のアプローチである。 提案手法は,オープンワールド合成T2I生成のための総合的なベンチマークであるT2I-CompBenchに対して10%以上の改善を達成している。
  論文  参考訳（メタデータ） (2024-01-28T16:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。