論文の概要: Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.35767v1
• Date: Mon, 28 Sep 2026 17:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:04:47.674172
• Title: Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
• Title（参考訳）: インターリーブ強化学習を用いた統一モデルにおけるネイティブリフレクションの学習
• Abstract要約: 1つの統一モデル内での完全な反射軌道に強化学習(RL)を適用するUMM-Reflectionを導入する。 BAGELでは、UMM-ReflectionはGenEvalをSFT上で12.05ポイント改善し、WISE (+10.97)、OneIG-Bench (+3.48)、T2I-CompBench (+4.63)へのゲインはトレーニングに使われない。
• 参考スコア（独自算出の注目度）: 48.42236694161824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified multimodal models can both look at and render images, so in principle they can repair their own generations: diagnose what an image gets wrong, revise it, observe the result, and diagnose again. Whether a revision helps is known only after it is rendered, so the reflection text and the image generation must be learned jointly, over the whole loop. Supervised fine-tuning (SFT) on reflection trajectories gives a cold start but does not find the high-success repair paths, and naive RL that optimizes only the renderer or only one head leaves most of the gain untapped. We introduce UMM-Reflection, which applies reinforcement learning (RL) to complete reflection trajectories inside one unified model: sibling trajectories share one initial image, so the group-relative advantage compares reflection strategies, and one trajectory-level advantage updates both the reflection tokens and the flow-based revisions, avoiding the combinatorial blow-up of per-round credit assignment. Unlike single-round editing or pipelines with an external critic, credit flows across rounds and to both roles of the same model, and no verifier is needed at inference. On BAGEL, UMM-Reflection improves GenEval by 12.05 points over SFT, and the gains transfer to WISE (+10.97), OneIG-Bench (+3.48), and T2I-CompBench++ (+4.63), none of which is used in training.
• Abstract（参考訳）: 統一されたマルチモーダルモデルは画像の表示とレンダリングの両方が可能であり、原則として、画像の異常を診断し、修正し、結果を観察し、また診断する、自身の世代を修復することができる。 リビジョンが有効かどうかはレンダリング後にのみわかるので、リフレクションテキストと画像生成はループ全体を通して共同で学習されなければならない。 反射軌道上の監督された微調整(SFT)はコールドスタートを与えるが、高い精度の修理経路が見つからない。 兄弟軌道は1つの初期画像を共有するため、グループ相対的優位性は反射戦略とフローベース修正の両方を比較し、1つのトラジェクトリレベルの優位性は反射トークンとフローベース修正の両方を更新し、ラウンド単位のクレジット割り当ての組合せの爆発を避ける。 外部批判のあるシングルラウンドの編集やパイプラインとは異なり、ラウンドと同一モデルの両方のロールにクレジットフローが流れ、推論に検証は必要ない。 BAGELでは、UMM-ReflectionはGenEvalをSFT上で12.05ポイント改善し、WISE (+10.97)、OneIG-Bench (+3.48)、T2I-CompBench++ (+4.63)へのゲインはトレーニングに使われない。

関連論文リスト

• Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation [52.00324244076857]
  SpectraRewardは、事前訓練されたMLLMを、画像生成強化学習のための既製の報酬モデルに変える。 Self-SpectraRewardは、外部報酬モデルや外部知識なしでクローズドループの自己改善フレームワークを形成する。
  論文  参考訳（メタデータ） (2026-07-13T17:59:58Z)
• ReflexiCoder: Teaching Large Language Models to Self-Reflect on Generated Code and Self-Correct It via Reinforcement Learning [17.115542346570972]
  既存の反復的な改善戦略は、外部のオラクル、実行フィードバック、あるいは計算に高価なプロンプト応答サイクルに依存している。 構造的推論軌道を内在化する新しい強化学習(RL)フレームワークであるReflexiCoderを提案する。 私たちのフレームワークはベースモデルよりもトークン効率がかなり高く、推論時の計算オーバーヘッドを約40%削減します。
  論文  参考訳（メタデータ） (2026-03-06T03:38:17Z)
• Teaching Large Reasoning Models Effective Reflection [62.73646680747003]
  大規模推論モデル(LRM)は、最近、複雑な推論タスクにおいて印象的なパフォーマンスを示している。 しかし、すべてのリフレクションが有益であるとは限らない。 まず,自己批判のみを用いてモデルの反射的推論能力を高める訓練フレームワークである自己批判ファインチューニング(SCFT)を提案する。
  論文  参考訳（メタデータ） (2026-01-19T04:51:53Z)
• Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback [33.127607245587576]
  本稿では,MLLMが生画像のみから複雑な視覚的推論を学習できるようにするフレームワークを提案する。 我々は、この相対的容易さが強化学習による最適化に理想的な報酬信号を提供することを示した。 RRVF訓練モデルは既存のMLLMを上回り、微調整ベースラインを監督するだけでなく、より優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-07-28T12:21:19Z)
• VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning [55.97950660659051]
  我々は(蒸留に頼らずに)強化学習による視覚言語モデルの遅い思考能力の向上を目指す。 我々は、RLトレーニングにおけるロールアウトの最後に再考トリガートークンを付加し、自己回帰推論ステップを明示的に実施する強制再考(Forced Rethinking)を導入する。 我々のモデルであるVL-Rethinkerは、MathVista、MathVerseの最先端スコアを80.4%、63.5%に向上させています。
  論文  参考訳（メタデータ） (2025-04-10T17:41:56Z)
• Adaptive Network Combination for Single-Image Reflection Removal: A Domain Generalization Perspective [68.37624784559728]
  本稿では,ドメインの観点からSIRRモデルを学習し,課題に対処する。 各ソースセットに対して、特定のSIRRモデルは、関連するリフレクションタイプのドメインエキスパートとして機能するように訓練される。 あるソースセットからのイメージに対して、RTAWは、一般化能力を改善するために、他のドメインエキスパートの専門的な重みだけを予測するように訓練する。 実験により、異なる最先端SIRRネットワーク上でのAdaNECの性能向上が示された。
  論文  参考訳（メタデータ） (2022-04-04T14:06:11Z)
• Two-Stage Single Image Reflection Removal with Reflection-Aware Guidance [78.34235841168031]
  シングルイメージリフレクション除去(SIRR)のためのリフレクション・アウェア・ガイダンス(RAGNet)を用いた新しい2段階ネットワークを提案する。 RAGは、(i)観測からの反射の効果を緩和するために、(ii)線形結合仮説から逸脱する効果を緩和するための部分畳み込みにおいてマスクを生成するために用いられる。 5つの一般的なデータセットの実験は、最先端のSIRR法と比較して、RAGNetの量的および質的な優位性を実証している。
  論文  参考訳（メタデータ） (2020-12-02T03:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。