論文の概要: SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2312.06739v1
• Date: Mon, 11 Dec 2023 17:54:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-13 18:21:06.469005
• Title: SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models
• Title（参考訳）: SmartEdit: マルチモーダル大言語モデルによる複雑な命令ベースの画像編集の探索
• Authors: Yuzhou Huang, Liangbin Xie, Xintao Wang, Ziyang Yuan, Xiaodong Cun, Yixiao Ge, Jiantao Zhou, Chao Dong, Rui Huang, Ruimao Zhang, Ying Shan
• Abstract要約: 本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
• 参考スコア（独自算出の注目度）: 91.22477798288003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current instruction-based editing methods, such as InstructPix2Pix, often fail to produce satisfactory results in complex scenarios due to their dependence on the simple CLIP text encoder in diffusion models. To rectify this, this paper introduces SmartEdit, a novel approach to instruction-based image editing that leverages Multimodal Large Language Models (MLLMs) to enhance their understanding and reasoning capabilities. However, direct integration of these elements still faces challenges in situations requiring complex reasoning. To mitigate this, we propose a Bidirectional Interaction Module that enables comprehensive bidirectional information interactions between the input image and the MLLM output. During training, we initially incorporate perception data to boost the perception and understanding capabilities of diffusion models. Subsequently, we demonstrate that a small amount of complex instruction editing data can effectively stimulate SmartEdit's editing capabilities for more complex instructions. We further construct a new evaluation dataset, Reason-Edit, specifically tailored for complex instruction-based image editing. Both quantitative and qualitative results on this evaluation dataset indicate that our SmartEdit surpasses previous methods, paving the way for the practical application of complex instruction-based image editing.
• Abstract（参考訳）: InstructPix2Pixのような現在の命令ベースの編集手法は、拡散モデルにおける単純なCLIPテキストエンコーダに依存しているため、複雑なシナリオで十分な結果が得られないことが多い。 そこで本稿では,マルチモーダル大言語モデル(multimodal large language model, mllms)を活用した命令ベースの画像編集手法であるsmarteditを提案する。 しかし、これらの要素の直接統合は、複雑な推論を必要とする状況において依然として課題に直面している。 これを軽減するために,入力画像とMLLM出力間の双方向情報包括的インタラクションを可能にする双方向インタラクションモジュールを提案する。 トレーニング中は、まず知覚データを組み込んで、拡散モデルの知覚と理解能力を高める。 続いて、より複雑な命令に対するSmartEditの編集機能を効果的に刺激できる、少量の複雑な命令編集データを実証する。 さらに、複雑な命令ベースの画像編集に適した新しい評価データセットReason-Editを構築した。 この評価データセットの定量的および定性的な結果から、我々のsmarteditは従来の手法を上回っており、複雑な命令ベースの画像編集の実用的応用への道筋を示している。

関連論文リスト

• Image-Editing Specialists: An RLAIF Approach for Diffusion Models [28.807572302899004]
  本稿では,特殊命令に基づく画像編集拡散モデルを訓練するための新しいアプローチを提案する。 拡散モデルと人間の嗜好を一致させるオンライン強化学習フレームワークを導入する。 実験結果から, 複雑なシーンにおいて, 10ステップで複雑な編集を行うことができることがわかった。
  論文  参考訳（メタデータ） (2025-04-17T10:46:39Z)
• SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding [45.79481252237092]
  SmartFreeEditは、マルチモーダルな大規模言語モデル(MLLM)とハイパーグラフ強化のインペイントアーキテクチャを統合するエンドツーエンドフレームワークである。 SmartFreeEditの主なイノベーションは、リージョン認識トークンとマスク埋め込みパラダイムである。 Reason-Editベンチマークの実験では、SmartFreeEditが現在の最先端メソッドを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-04-17T07:17:49Z)
• FireEdit: Fine-grained Instruction-based Image Editing via Region-aware Vision Language Model [54.693572837423226]
  FireEditは、Region対応のVLMを利用する、革新的なインストラクションベースの画像編集フレームワークである。 FireEditは、ユーザの指示を正確に理解し、編集プロセスの効果的な制御を保証するように設計されている。 提案手法は,最先端の命令ベース画像編集手法を超越した手法である。
  論文  参考訳（メタデータ） (2025-03-25T16:59:42Z)
• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• Compositional Image Retrieval via Instruction-Aware Contrastive Learning [40.54022628032561]
  Composed Image Retrieval (CIR)は、テキストとペアリングした画像の合成クエリに基づいてターゲットイメージを検索する。 実際には、下流タスクにおけるアノテートデータの不足のため、ゼロショットCIR(ZS-CIR)が望ましい。 命令調整型マルチモーダルLLM(MLLM)を用いて合成表現を生成する新しい埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2024-12-07T22:46:52Z)
• InsightEdit: Towards Better Instruction Following for Image Editing [12.683378605956024]
  InstructPix2Pix, InstructDiffusion, SmartEditといった以前の作業では、エンドツーエンドの編集が検討されている。 MLLM(Multimodal Large Language Models)によるテキスト的特徴と視覚的特徴の両方を利用した2ストリームブリッジ機構を提案する。 InsightEditは,従来の画像との背景の整合性を保ちながら,複雑な命令の追従に優れ,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-26T11:11:10Z)
• ReEdit: Multimodal Exemplar-Based Image Editing with Diffusion Models [11.830273909934688]
  最新のテキスト・ツー・イメージ(T2I)拡散モデルでは、高品質な画像を生成することで画像編集に革命をもたらした。 テキストと画像のモダリティの両方で編集をキャプチャする,モジュール的で効率的なエンドツーエンドフレームワークであるReEditを提案する。 以上の結果から,ReEditは定性的かつ定量的に現代的アプローチを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2024-11-06T15:19:24Z)
• Achieving Complex Image Edits via Function Aggregation with Diffusion Models [15.509233098264513]
  拡散モデルは、生成タスクにおいて強力な性能を示しており、画像編集の理想的な候補となっている。 本稿では,原子編集関数を学習し,より単純な関数を集約して複雑な編集を行うための,効率的な拡散モデルFunEditorを紹介する。 FunEditorは、オブジェクトムーブメントのような複雑なタスクの既存のメソッドよりも5倍から24倍高速な推論を行う。
  論文  参考訳（メタデータ） (2024-08-16T02:33:55Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing [77.12834553200632]
  本稿ではReasonPix2Pixを紹介した。 データセットの特徴は,1)推論命令,2)細かなカテゴリのよりリアルな画像,3)入力画像と編集画像のばらつきの増大である。 教師付き条件下でのデータセットの微調整では、タスクが推論を必要とするか否かに関わらず、命令編集タスクにおいて優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-18T06:03:42Z)
• SEED-Data-Edit Technical Report: A Hybrid Dataset for Instructional Image Editing [53.00272278754867]
  SEED-Data-Editは命令誘導画像編集のためのハイブリッドデータセットである。 自動パイプラインによって生成された高品質な編集データ。 インターネットから収集された実世界のシナリオデータ。 人間によって注釈付けされた高精度マルチターン編集データ。
  論文  参考訳（メタデータ） (2024-05-07T04:55:47Z)
• Guiding Instruction-based Image Editing via Multimodal Large Language Models [102.82211398699644]
  マルチモーダル大言語モデル (MLLM) は, クロスモーダル理解と視覚応答生成において有望な能力を示す。 MLLMはどのようにして編集手順を容易にし、MGIE(MLLM-Guided Image Editing)を提示するかを検討する。 MGIEは表現的な指示を導き、明確なガイダンスを提供する。
  論文  参考訳（メタデータ） (2023-09-29T10:01:50Z)
• LEDITS: Real Image Editing with DDPM Inversion and Semantic Guidance [0.0]
  LEDITSはリアルタイム編集のための軽量なアプローチであり、Edit Friendly DDPMインバージョン技術とSemantic Guidanceを統合している。 このアプローチは、微妙で広範囲な編集や構成やスタイルの変更といった多彩な編集を実現すると同時に、アーキテクチャの最適化や拡張も必要としない。
  論文  参考訳（メタデータ） (2023-07-02T09:11:09Z)
• InstructPix2Pix: Learning to Follow Image Editing Instructions [103.77092910685764]
  人間の指示から画像を編集する手法を提案する。 入力画像とモデルに何をすべきかを指示する命令が与えられたら、我々のモデルはこれらの命令に従って画像を編集します。 入力画像と書き起こしの多様なコレクションに対して、魅力的な編集結果を示す。
  論文  参考訳（メタデータ） (2022-11-17T18:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。