論文の概要: SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding

• arxiv url: http://arxiv.org/abs/2504.12704v1
• Date: Thu, 17 Apr 2025 07:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:35:47.483332
• Title: SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding
• Title（参考訳）: SmartFreeEdit:複雑なインストラクション理解によるマスクレス空間認識画像編集
• Authors: Qianqian Sun, Jixiang Luo, Dell Zhang, Xuelong Li,
• Abstract要約: SmartFreeEditは、マルチモーダルな大規模言語モデル(MLLM)とハイパーグラフ強化のインペイントアーキテクチャを統合するエンドツーエンドフレームワークである。 SmartFreeEditの主なイノベーションは、リージョン認識トークンとマスク埋め込みパラダイムである。 Reason-Editベンチマークの実験では、SmartFreeEditが現在の最先端メソッドを上回ることが示されている。
• 参考スコア（独自算出の注目度）: 45.79481252237092
• License:
• Abstract: Recent advancements in image editing have utilized large-scale multimodal models to enable intuitive, natural instruction-driven interactions. However, conventional methods still face significant challenges, particularly in spatial reasoning, precise region segmentation, and maintaining semantic consistency, especially in complex scenes. To overcome these challenges, we introduce SmartFreeEdit, a novel end-to-end framework that integrates a multimodal large language model (MLLM) with a hypergraph-enhanced inpainting architecture, enabling precise, mask-free image editing guided exclusively by natural language instructions. The key innovations of SmartFreeEdit include:(1)the introduction of region aware tokens and a mask embedding paradigm that enhance the spatial understanding of complex scenes;(2) a reasoning segmentation pipeline designed to optimize the generation of editing masks based on natural language instructions;and (3) a hypergraph-augmented inpainting module that ensures the preservation of both structural integrity and semantic coherence during complex edits, overcoming the limitations of local-based image generation. Extensive experiments on the Reason-Edit benchmark demonstrate that SmartFreeEdit surpasses current state-of-the-art methods across multiple evaluation metrics, including segmentation accuracy, instruction adherence, and visual quality preservation, while addressing the issue of local information focus and improving global consistency in the edited image. Our project will be available at https://github.com/smileformylove/SmartFreeEdit.
• Abstract（参考訳）: 画像編集の最近の進歩は、大規模なマルチモーダルモデルを利用して、直感的で自然な命令駆動インタラクションを実現している。 しかし、従来の手法は、特に空間的推論、正確な領域分割、意味的一貫性の維持、特に複雑な場面において重要な課題に直面している。 これらの課題を克服するために、SmartFreeEditは、マルチモーダルな大規模言語モデル(MLLM)とハイパーグラフを拡張したインペインティングアーキテクチャを統合し、自然言語命令でのみガイドされる正確なマスクのない画像編集を可能にする、新しいエンドツーエンドフレームワークである。 SmartFreeEditの主なイノベーションは、(1)複雑なシーンの空間的理解を高めるための領域認識トークンとマスク埋め込みパラダイムの導入、(2)自然言語命令に基づく編集マスクの生成を最適化するために設計された推論セグメンテーションパイプライン、(3)複雑な編集中に構造的整合性とセマンティックコヒーレンスの両方を保存し、局所的な画像生成の限界を克服するハイパーグラフ拡張インペイントモジュールである。 Reason-Editベンチマークの大規模な実験によると、SmartFreeEditは、セグメンテーションの精度、命令の順守、視覚的品質の保存など、複数の評価指標における現在の最先端メソッドを超越し、ローカルな情報焦点の問題に対処し、編集された画像のグローバルな一貫性を改善している。 私たちのプロジェクトはhttps://github.com/smileformylove/SmartFreeEditで公開されます。

関連論文リスト

• BrushEdit: All-In-One Image Inpainting and Editing [79.55816192146762]
  BrushEditは、インペイントベースの命令誘導画像編集パラダイムである。 本研究では,MLLMとデュアルブランチ画像の描画モデルを統合することで,自由形式の命令編集を可能にするシステムを提案する。 本フレームワークは,MLLMとインパインティングモデルを効果的に組み合わせ,7つの指標で優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-12-13T17:58:06Z)
• FreeEdit: Mask-free Reference-based Image Editing with Multi-modal Instruction [31.95664918050255]
  FreeEditは参照ベースの画像編集を実現するための新しいアプローチである。 ユーザフレンドリーな言語命令に基づいて参照画像から視覚概念を正確に再現することができる。
  論文  参考訳（メタデータ） (2024-09-26T17:18:39Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• InstructGIE: Towards Generalizable Image Editing [34.83188723673297]
  一般化ロバスト性を高めた新しい画像編集フレームワークを提案する。 このフレームワークには、VMamba Blockを利用して、画像編集タスクに特別に最適化されたモジュールが組み込まれている。 また、生成された画像の劣化した詳細に対処し、修正するために特別に設計された、選択的な領域マッチング技術も披露する。
  論文  参考訳（メタデータ） (2024-03-08T03:43:04Z)
• MAG-Edit: Localized Image Editing in Complex Scenarios via Mask-Based Attention-Adjusted Guidance [28.212908146852197]
  我々は,複雑なシナリオにおける局所的な画像編集を可能にする,トレーニング不要な推論ステージ最適化手法であるMAG-Editを開発した。 特に、MAG-Editは2つのマスクベースのクロスアテンション制約を最大化することにより拡散モデルのノイズ潜時特性を最適化する。
  論文  参考訳（メタデータ） (2023-12-18T17:55:44Z)
• SmartEdit: Exploring Complex Instruction-based Image Editing with Multimodal Large Language Models [91.22477798288003]
  本稿では,命令ベースの画像編集の新しいアプローチであるSmartEditを紹介する。 MLLM(Multimodal Large Language Models)を利用して、その理解と推論能力を強化する。 我々は,より複雑な命令に対して,SmartEditの編集機能を効果的に刺激することのできる,少量の複雑な命令編集データを示す。
  論文  参考訳（メタデータ） (2023-12-11T17:54:11Z)
• Text-Driven Image Editing via Learnable Regions [74.45313434129005]
  本研究では,ユーザが提供するマスクやスケッチを必要とせずに,テキストプロンプトによって駆動される領域ベースの画像編集手法を提案する。 この単純なアプローチにより、現在の画像生成モデルと互換性のあるフレキシブルな編集が可能になることを示す。 実験では,提案した言語記述に対応する忠実度とリアリズムの高い画像の操作において,提案手法の競合性能を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:27:31Z)
• Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
  既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。 コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。 定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-06T17:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。