論文の概要: Reasoning to Edit: Hypothetical Instruction-Based Image Editing with Visual Reasoning

• arxiv url: http://arxiv.org/abs/2507.01908v1
• Date: Wed, 02 Jul 2025 17:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.392492
• Title: Reasoning to Edit: Hypothetical Instruction-Based Image Editing with Visual Reasoning
• Title（参考訳）: 編集への推論:視覚的推論を用いた仮説的インストラクションに基づく画像編集
• Authors: Qingdong He, Xueqin Chen, Chaoyi Wang, Yanjie Pan, Xiaobin Hu, Zhenye Gan, Yabiao Wang, Chengjie Wang, Xiangtai Li, Jiangning Zhang,
• Abstract要約: Reason50Kは、仮説的推論画像編集のトレーニングと評価のために算出された大規模なデータセットである。 ReasonBrainは、様々なシナリオにまたがる暗黙の仮説的命令を推論し実行するために設計された、新しいフレームワークである。 データセットとコードは公開されます。
• 参考スコア（独自算出の注目度）: 52.873405027439794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction-based image editing (IIE) has advanced rapidly with the success of diffusion models. However, existing efforts primarily focus on simple and explicit instructions to execute editing operations such as adding, deleting, moving, or swapping objects. They struggle to handle more complex implicit hypothetical instructions that require deeper reasoning to infer plausible visual changes and user intent. Additionally, current datasets provide limited support for training and evaluating reasoning-aware editing capabilities. Architecturally, these methods also lack mechanisms for fine-grained detail extraction that support such reasoning. To address these limitations, we propose Reason50K, a large-scale dataset specifically curated for training and evaluating hypothetical instruction reasoning image editing, along with ReasonBrain, a novel framework designed to reason over and execute implicit hypothetical instructions across diverse scenarios. Reason50K includes over 50K samples spanning four key reasoning scenarios: Physical, Temporal, Causal, and Story reasoning. ReasonBrain leverages Multimodal Large Language Models (MLLMs) for editing guidance generation and a diffusion model for image synthesis, incorporating a Fine-grained Reasoning Cue Extraction (FRCE) module to capture detailed visual and textual semantics essential for supporting instruction reasoning. To mitigate the semantic loss, we further introduce a Cross-Modal Enhancer (CME) that enables rich interactions between the fine-grained cues and MLLM-derived features. Extensive experiments demonstrate that ReasonBrain consistently outperforms state-of-the-art baselines on reasoning scenarios while exhibiting strong zero-shot generalization to conventional IIE tasks. Our dataset and code will be released publicly.
• Abstract（参考訳）: インストラクションベース画像編集(IIE)は拡散モデルの成功により急速に進歩している。 しかし、既存の取り組みは主に、オブジェクトの追加、削除、移動、スワップといった編集操作を実行するための単純で明示的な命令に焦点を当てている。 彼らは、より複雑な暗黙的な仮説的な指示を扱うのに苦労し、もっともらしい視覚的変化とユーザ意図を推測するためにより深い推論を必要とします。 さらに、現在のデータセットは、トレーニングと推論対応編集機能の評価を限定的にサポートする。 アーキテクチャ上、これらの手法には、そのような推論をサポートする詳細な詳細抽出のメカニズムが欠如している。 これらの制約に対処するために,画像編集のトレーニングと仮説推論のための大規模データセットReason50Kと,さまざまなシナリオにまたがる暗黙的な仮説命令の実行を目的とした新しいフレームワークReasonBrainを提案する。 Reason50Kには、物理、時間、因果、ストーリー推論の4つの主要な推論シナリオにまたがる50万以上のサンプルが含まれている。 ReasonBrainはMLLM(Multimodal Large Language Models)を利用して、ガイダンス生成と画像合成のための拡散モデルを作成し、細粒度のReasoning Cue extract(FRCE)モジュールを組み込んで、命令推論をサポートするのに不可欠な詳細な視覚的およびテキスト的セマンティクスをキャプチャする。 セマンティックな損失を軽減するため,細粒度とMLLMから得られる特徴とのリッチな相互作用を可能にするクロスモーダルエンハンサー(CME)を導入する。 広範囲にわたる実験により、ReasonBrainは従来のIIEタスクに対して強いゼロショット一般化を示しながら、推論シナリオにおける最先端のベースラインを一貫して上回ることを示した。 データセットとコードは公開されます。

関連論文リスト

• Perceptual Decoupling for Scalable Multi-modal Reasoning via Reward-Optimized Captioning [78.17782197231325]
  本稿では,抽出者のキャプション動作と推論目的を一致させる推論誘導型強化学習戦略を提案する。 マルチモーダルな数学と科学ベンチマークの実験により、提案手法は最先端の平均性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Decoupled Visual Interpretation and Linguistic Reasoning for Math Problem Solving [57.22004912994658]
  現在の大型視覚言語モデル(LVLM)は、通常、大型言語モデル(LLM)のテキスト埋め込みと視覚的特徴をリンクするためのコネクタモジュールを使用する。 本稿では,エンド・ツー・エンドの視覚言語推論モデルをトレーニングする代わりに,分離された推論フレームワークの開発を提唱する。
  論文  参考訳（メタデータ） (2025-05-23T08:18:00Z)
• ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing [77.12834553200632]
  本稿ではReasonPix2Pixを紹介した。 データセットの特徴は,1)推論命令,2)細かなカテゴリのよりリアルな画像,3)入力画像と編集画像のばらつきの増大である。 教師付き条件下でのデータセットの微調整では、タスクが推論を必要とするか否かに関わらず、命令編集タスクにおいて優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-05-18T06:03:42Z)
• HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning [10.80288566599934]
  HYDRAは、信頼性と漸進的な一般的な推論のための構成的視覚的推論フレームワークである。 本フレームワークは,4つの多種多様なデータセット上でのVRタスクにおける最先端性能を実証する。
  論文  参考訳（メタデータ） (2024-03-19T16:31:30Z)
• Towards Counterfactual Image Manipulation via CLIP [106.94502632502194]
  既存の方法は、顔画像の年齢や性別など、さまざまな視覚特性をリアルに編集することができる。 コントラスト・ランゲージ・イメージ・プレトレーニング(CLIP)を用いたテキスト駆動方式でこの問題を考察する。 定義済みのCLIP空間の方向を利用して、異なる視点から所望の方向に向けて編集を誘導する新しいコントラスト損失を設計する。
  論文  参考訳（メタデータ） (2022-07-06T17:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。