Fugu-MT 論文翻訳(概要): ThinkRL-Edit: Thinking in Reinforcement Learning for Reasoning-Centric Image Editing

論文の概要: ThinkRL-Edit: Thinking in Reinforcement Learning for Reasoning-Centric Image Editing

arxiv url: http://arxiv.org/abs/2601.03467v1
Date: Tue, 06 Jan 2026 23:43:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-09 02:15:23.089818
Title: ThinkRL-Edit: Thinking in Reinforcement Learning for Reasoning-Centric Image Editing
Title（参考訳）: ThinkRL-Edit: Reinforcement Learning for Reasoning-Centric Image Editing
Authors: Hengjia Li, Liming Jiang, Qing Yan, Yizhi Song, Hao Kang, Zichuan Liu, Xin Lu, Boxi Wu, Deng Cai,
Abstract要約: 画像編集の質を向上させるために,強化学習(RL)について検討した。 RL は,(1) ノイズ除去に限定した推論探索,(2) バイアスド報酬融合,(3) 不安定な VLM ベースの命令報酬の3つの主要な課題に直面している。画像合成から視覚的推論を分離する推論中心のRLフレームワークであるThinkRL-Editを提案する。
参考スコア（独自算出の注目度）: 33.888289858260706
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Instruction-driven image editing with unified multimodal generative models has advanced rapidly, yet their underlying visual reasoning remains limited, leading to suboptimal performance on reasoning-centric edits. Reinforcement learning (RL) has been investigated for improving the quality of image editing, but it faces three key challenges: (1) limited reasoning exploration confined to denoising stochasticity, (2) biased reward fusion, and (3) unstable VLM-based instruction rewards. In this work, we propose ThinkRL-Edit, a reasoning-centric RL framework that decouples visual reasoning from image synthesis and expands reasoning exploration beyond denoising. To the end, we introduce Chain-of-Thought (CoT)-based reasoning sampling with planning and reflection stages prior to generation in online sampling, compelling the model to explore multiple semantic hypotheses and validate their plausibility before committing to a visual outcome. To avoid the failures of weighted aggregation, we propose an unbiased chain preference grouping strategy across multiple reward dimensions. Moreover, we replace interval-based VLM scores with a binary checklist, yielding more precise, lower-variance, and interpretable rewards for complex reasoning. Experiments show our method significantly outperforms prior work on reasoning-centric image editing, producing instruction-faithful, visually coherent, and semantically grounded edits.
Abstract（参考訳）: 統合マルチモーダル生成モデルを用いたインストラクション駆動画像編集は急速に進歩しているが、その基盤となる視覚的推論は限定的であり、推論中心の編集における準最適性能をもたらす。 Reinforcement Learning (RL) は画像編集の質を向上させるために研究されてきたが,(1) 確率性に限定した限定的推論探索,(2) バイアスド報酬融合,(3) 不安定なVLMベースの指導報酬の3つの課題に直面している。本研究では、画像合成から視覚的推論を分離し、聴覚以外の推論探索を拡大する推論中心のRLフレームワークであるThinkRL-Editを提案する。最後に、オンラインサンプリングにおいて、生成に先立って計画とリフレクション段階を伴うChain-of-Thought(CoT)ベースの推論サンプリングを導入し、複数のセマンティック仮説を探索し、視覚的な結果にコミットする前にそれらの妥当性を検証するようモデルに促した。重み付けアグリゲーションの失敗を避けるため、複数の報酬次元にまたがる不偏鎖選好グルーピング戦略を提案する。さらに、間隔ベースのVLMスコアをバイナリチェックリストに置き換えることで、より正確で、より分散度が低く、複雑な推論に対する解釈可能な報酬が得られる。実験により,提案手法は推論中心の画像編集,命令忠実,視覚的コヒーレント,セマンティックグラウンドド編集において,先行研究よりも優れていたことが確認された。

関連論文リスト

Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文参考訳（メタデータ） (2026-01-07T16:39:34Z)
CRAFT: Continuous Reasoning and Agentic Feedback Tuning for Multimodal Text-to-Image Generation [0.0]
CRAFT(Continuous Reasoning and Agentic Feedback Tuning)は、マルチモーダル画像生成に構造化推論パラダイムをもたらす、トレーニング不要でモデルに依存しないフレームワークである。コンポジション精度、テキストレンダリング、好みに基づく評価を一貫して改善する。これらの改善は無視できる推論時間のオーバーヘッドに過ぎず、より小型または安価なモデルでより高価なシステムの品質にアプローチすることができる。
論文参考訳（メタデータ） (2025-12-23T13:44:41Z)
Deep But Reliable: Advancing Multi-turn Reasoning for Thinking with Images [53.373427633330515]
DRIMは,マルチモーダルCoTの画像について考える際に,深層かつ信頼性の高いマルチターン推論を可能にするモデルである。高精細画像データセットに基づいて,高精細かつ検証可能な視覚的問合せ対を構築する。 SFTの段階では,ツールトラジェクトリをコールドスタートデータとして収集し,マルチターン推論パターンを導出する。 RLの段階では、冗長性を考慮したポリシー最適化を導入し、自己反射的推論パターンを開発するためのモデルにインセンティブを与える。
論文参考訳（メタデータ） (2025-12-19T07:44:43Z)
EditThinker: Unlocking Iterative Reasoning for Any Image Editor [72.28251670314451]
編集中に「考える」ための熟考的な編集フレームワークを提案する。このフレームワークの推論エンジンとして機能するために、単一のMLLM、EditThinkerをトレーニングします。我々は、強化学習を用いて、EditThinkerの思考をその編集と整合させ、よりターゲットを絞った命令改善を生成する。
論文参考訳（メタデータ） (2025-12-05T18:58:09Z)
Answer-Consistent Chain-of-thought Reinforcement Learning For Multi-modal Large Langauge Models [33.398631680508814]
本稿では,GRPOアルゴリズムを補助的整合性チェックで修正するAnswer-Consistent Reinforcement Learningを提案する。我々は、オリジナルとポストシャッフルの両方の回答が一致して正しい場合にのみ高い報酬を与える一貫性検証報酬を設計する。我々は、ACREを挑戦的なビデオ推論ベンチマークとマルチモーダル数学推論ベンチマークで評価し、平均2.2%と1.5%の改善を達成した。
論文参考訳（メタデータ） (2025-10-11T08:32:52Z)
Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
論文参考訳（メタデータ） (2025-10-02T09:55:26Z)
Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-06-05T02:28:07Z)
Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
論文参考訳（メタデータ） (2024-07-16T06:32:45Z)
Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。