論文の概要: Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.02490v1
• Date: Thu, 02 Jul 2026 17:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.959335
• Title: Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning
• Title（参考訳）: 強化学習による視覚言語モデルの視覚的自己回帰
• Abstract要約: 大規模な視覚言語モデルは、テキスト・チェーン・オブ・シンキングを生成することで、マルチモーダル・インプットを推論することができる。 CoT推論で示される重要な機能は、自己修正 — 以前の決定を再検討し、以前のエラーを修正する — である。 既存のLVLMは反射中の視覚入力に適切に対応できず、フィードバックを接地補正に変換する能力を制限する。 本稿では,視覚的に接地した自己反射を誘発する2つのコンポーネントを明示的に設計した,新しい強化学習学習フレームワークVRRLを提案する。
• 参考スコア（独自算出の注目度）: 40.28153252530189
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large vision-language models can reason over multimodal inputs by generating textual chains of thought (CoT). A key capability exhibited in CoT reasoning is self-reflection: revisiting earlier decisions and correcting previous errors. However, existing LVLMs often fail to properly attend to visual inputs during reflection, limiting their ability to translate feedback into grounded corrections, especially for out-of-distribution images. To address this issue, we propose a novel reinforcement learning training framework VRRL, with two components explicitly designed to elicit visually grounded self-reflection. First, we randomly mask trajectory prefixes during training to emphasize recovery from incorrect intermediate predictions rather than making early mistakes. Second, we introduce buffered roll-ins from an experience replay buffer to expose the model to diverse failure states that it must learn to correct. We evaluate our approach on visual grounding tasks involving tables and charts, as well as spatial navigation benchmarks. While off-the-shelf and conventionally fine-tuned models degrade substantially under distribution shift, our method substantially improves average out-of-distribution accuracy over standard RL and reflection-oriented fine-tuning baselines by using self-reflection effectively.
• Abstract（参考訳）: 大規模視覚言語モデルは、テキスト・チェーン・オブ・シンキング(CoT)を生成することでマルチモーダル・インプットを推論することができる。 CoT推論で示される重要な機能は、自己修正 — 以前の決定を再検討し、以前のエラーを修正する — である。 しかし、既存のLVLMは反射中の視覚入力に適切に対応できず、特に分布外画像の場合、フィードバックを接地補正に変換する能力を制限する。 この問題に対処するために,視覚的に接地した自己反射を誘発する2つのコンポーネントを明示的に設計した,新しい強化学習トレーニングフレームワークVRRLを提案する。 まず,訓練中の軌道前置詞をランダムにマスキングし,誤りを犯すのではなく,誤った中間予測からの回復を強調する。 次に、経験的リプレイバッファからバッファ化されたロールインを導入し、モデルが正しいことを学ばなければならないさまざまな障害状態にモデルを公開します。 我々は,テーブルやチャートを含む視覚的接地作業に対するアプローチと,空間ナビゲーションのベンチマークについて検討した。 オフザシェルフモデルと従来の微調整モデルでは, 分散シフト下では大幅に劣化するが, 従来のRLおよび反射方向の微調整ベースラインに対して, 自己回帰を効果的に利用することにより, 分配精度を著しく向上する。

関連論文リスト

• Improving Vision-language Models with Perception-centric Process Reward Models [94.51962346430248]
  トークンレベルのエラーグラウンドを可能にするプロセス報酬モデル(PRM)であるPercevalを提案する。 Percevalは、知覚集約的な教師付きトレーニングデータで訓練される。 次に、ポリシーモデルをトレーニングするために、PercevalをRLトレーニングプロセスに統合します。
  論文  参考訳（メタデータ） (2026-04-27T15:08:02Z)
• Your Pre-trained Diffusion Model Secretly Knows Restoration [55.7186754179308]
  本研究では,事前学習した拡散モデルが本質的に復元動作を有しており,即時埋め込みを直接学習することで解錠可能であることを示す。 トレーニング済みのWANビデオモデルとFLUX画像モデルに軽量な学習プロンプトを導入し、それらを高性能な復元モデルに変換する。
  論文  参考訳（メタデータ） (2026-04-06T17:59:04Z)
• RCP: Representation Consistency Pruner for Mitigating Distribution Shift in Large Vision-Language Models [24.3914653184824]
  LVLM(Large Vision-Language Models)は、言語デコーダによって処理される膨大な数の視覚トークンによって、推論の禁止コストに悩まされる。 既存のプルーニング法は、視覚トークンの可逆的な除去が、事前訓練されたフルトケン状態から逸脱した隠れ状態の分布シフトを引き起こすため、大きな性能劣化を引き起こすことが多い。 本稿では,累積的視覚トークンプルーニングと遅延修復機構を統合した一貫性表現プルーナを提案する。
  論文  参考訳（メタデータ） (2026-04-04T13:31:45Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• ReLAPSe: Reinforcement-Learning-trained Adversarial Prompt Search for Erased concepts in unlearned diffusion models [12.021923446217722]
  マシン・アンラーニングは、テキスト・ツー・イメージ拡散モデルから不正な概念を取り除くための鍵となる防御メカニズムである。 この漏洩を悪用する既存の敵のアプローチは、基本的な制限によって制約される。 本稿では,ReLAPSeについて紹介する。ReLAPSeは,概念回復を強化学習問題として再編成する政策ベースの敵対的枠組みである。
  論文  参考訳（メタデータ） (2026-01-30T21:56:50Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
  大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。 幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。 本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:32:45Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。