論文の概要: POEM: Precise Object-level Editing via MLLM control

• arxiv url: http://arxiv.org/abs/2504.08111v1
• Date: Thu, 10 Apr 2025 20:12:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:02.490768
• Title: POEM: Precise Object-level Editing via MLLM control
• Title（参考訳）: POEM:MLLM制御による精密オブジェクトレベルの編集
• Authors: Marco Schouten, Mehmet Onurcan Kaya, Serge Belongie, Dim P. Papadopoulos,
• Abstract要約: マルチモーダル大言語モデル(MLLM)を用いたオブジェクトレベルの精密編集のためのフレームワークであるPOEMを提案する。 POEMはMLLMを利用して命令のプロンプトを分析し、変換前後に正確なオブジェクトマスクを生成する。 この構造化推論段階は、拡散に基づく編集プロセスをガイドし、正確なオブジェクトの局所化と変換を保証する。
• 参考スコア（独自算出の注目度）: 9.264835477745102
• License:
• Abstract: Diffusion models have significantly improved text-to-image generation, producing high-quality, realistic images from textual descriptions. Beyond generation, object-level image editing remains a challenging problem, requiring precise modifications while preserving visual coherence. Existing text-based instructional editing methods struggle with localized shape and layout transformations, often introducing unintended global changes. Image interaction-based approaches offer better accuracy but require manual human effort to provide precise guidance. To reduce this manual effort while maintaining a high image editing accuracy, in this paper, we propose POEM, a framework for Precise Object-level Editing using Multimodal Large Language Models (MLLMs). POEM leverages MLLMs to analyze instructional prompts and generate precise object masks before and after transformation, enabling fine-grained control without extensive user input. This structured reasoning stage guides the diffusion-based editing process, ensuring accurate object localization and transformation. To evaluate our approach, we introduce VOCEdits, a benchmark dataset based on PASCAL VOC 2012, augmented with instructional edit prompts, ground-truth transformations, and precise object masks. Experimental results show that POEM outperforms existing text-based image editing approaches in precision and reliability while reducing manual effort compared to interaction-based methods.
• Abstract（参考訳）: 拡散モデルはテキスト・画像生成を大幅に改善し、テキスト記述から高品質でリアルな画像を生成する。 生成以外にも、オブジェクトレベルの画像編集は難しい問題であり、視覚的コヒーレンスを維持しながら正確な修正を必要とする。 既存のテキストベースの命令編集手法は、ローカライズされた形状やレイアウトの変換に苦慮し、意図しないグローバルな変更をしばしば導入する。 画像インタラクションベースのアプローチは、精度が向上するが、正確なガイダンスを提供するには手動による作業が必要である。 本稿では,画像編集精度を高く保ちながら,この手作業を削減するために,マルチモーダル大言語モデル(MLLM)を用いた高精度オブジェクトレベルの編集フレームワークであるPOEMを提案する。 POEMはMLLMを利用して命令のプロンプトを分析し、変換前後に正確なオブジェクトマスクを生成する。 この構造化推論段階は、拡散に基づく編集プロセスをガイドし、正確なオブジェクトの局所化と変換を保証する。 提案手法を評価するために,PASCAL VOC 2012に基づくベンチマークデータセットであるVOCEditsを導入する。 実験の結果、POEMは既存のテキストベースの画像編集手法よりも精度と信頼性が優れており、インタラクションベースの手法に比べて手作業の労力は少ないことがわかった。

関連論文リスト

• PartEdit: Fine-Grained Image Editing using Pre-Trained Diffusion Models [80.98455219375862]
  本稿では,事前学習した拡散モデルに基づくオブジェクト部品に対する最初のテキストベースの画像編集手法を提案する。 提案手法は, 利用者の77～90%に好まれる。
  論文  参考訳（メタデータ） (2025-02-06T13:08:43Z)
• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• SGEdit: Bridging LLM with Text2Image Generative Model for Scene Graph-based Image Editing [42.23117201457898]
  本稿では,大規模言語モデル(LLM)とText2生成モデルを統合し,グラフベースの画像編集を行う新しいフレームワークを提案する。 本フレームワークは,編集精度とシーン美学の観点から,既存の画像編集手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-15T17:40:48Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• Guiding Instruction-based Image Editing via Multimodal Large Language Models [102.82211398699644]
  マルチモーダル大言語モデル (MLLM) は, クロスモーダル理解と視覚応答生成において有望な能力を示す。 MLLMはどのようにして編集手順を容易にし、MGIE(MLLM-Guided Image Editing)を提示するかを検討する。 MGIEは表現的な指示を導き、明確なガイダンスを提供する。
  論文  参考訳（メタデータ） (2023-09-29T10:01:50Z)
• CLIP-Guided StyleGAN Inversion for Text-Driven Real Image Editing [22.40686064568406]
  提案するCLIPInverterは,複数属性の変更を効率よく,かつ確実に行うことのできる,テキスト駆動型画像編集手法である。 本手法は,人間の顔,猫,鳥など,さまざまな領域における操作精度とフォトリアリズムにおいて,競合するアプローチよりも優れる。
  論文  参考訳（メタデータ） (2023-07-17T11:29:48Z)
• LEDITS: Real Image Editing with DDPM Inversion and Semantic Guidance [0.0]
  LEDITSはリアルタイム編集のための軽量なアプローチであり、Edit Friendly DDPMインバージョン技術とSemantic Guidanceを統合している。 このアプローチは、微妙で広範囲な編集や構成やスタイルの変更といった多彩な編集を実現すると同時に、アーキテクチャの最適化や拡張も必要としない。
  論文  参考訳（メタデータ） (2023-07-02T09:11:09Z)
• Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting [53.708523312636096]
  本稿では,テキスト誘導画像のインペイントを微調整し,カスケード拡散モデルであるImagen Editorを提案する。 編集はテキストプロンプトに忠実で、オブジェクト検出器を使用してトレーニング中に塗装マスクを提案する。 質的,定量的な評価を改善するために,テキスト誘導画像の塗り絵の体系的ベンチマークであるEditBenchを導入する。
  論文  参考訳（メタデータ） (2022-12-13T21:25:11Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。