論文の概要: When Does a Video-Language Model Stop Watching? Reward Strength Controls the Formation and Reversal of Visual Shortcuts in Multimodal RLVR

• arxiv url: http://arxiv.org/abs/2606.22043v1
• Date: Sat, 20 Jun 2026 13:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 23:03:46.040412
• Title: When Does a Video-Language Model Stop Watching? Reward Strength Controls the Formation and Reversal of Visual Shortcuts in Multimodal RLVR
• Title（参考訳）: リワード強度はマルチモーダルRLVRにおける視覚的ショートカットの形成と反転を制御する
• Authors: Zekun Xu,
• Abstract要約: トレーニング時間軸に沿った視覚的ショートカットの形成・反転ダイナミクスについて述べる。 我々は、視覚的ショートカット崩壊を制御可能、時間依存、非対称なプロセスとして再放送する。
• 参考スコア（独自算出の注目度）: 0.9061408029414452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is increasingly applied to large vision-language models (LVLMs), yet outcome-only optimization can drive a model to stop attending to the video and instead exploit linguistic priors -- a failure we call a visual shortcut. While the existence of such perception bypass is by now documented, how it forms, whether it can be undone, and when intervention still helps remain open. We treat the strength of a grounding penalty, lambda, as a control knob and characterize the formation-reversal dynamics of visual shortcuts along the training time axis. On a held-out, out-of-distribution diagnostic set, we find: (i) a sharp onset -- shortcut reliance emerges abruptly over a narrow window of optimization steps and is robust across random seeds; (ii) a monotone dose-response -- increasing lambda progressively suppresses the shortcut, and at an intermediate dose the trajectory first forms and then reverses the shortcut, exposing a hysteresis-like asymmetry between acquiring and removing it; and (iii) a critical intervention window -- applying the penalty before onset arrests shortcut formation, whereas the same penalty applied after consolidation is markedly less effective. Together these results recast visual-shortcut collapse not as a binary defect but as a controllable, time-dependent, and asymmetric process, with direct implications for when and how strongly to regularize multimodal RLVR.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大きな視覚言語モデル(LVLM)にますます適用されていますが、結果のみの最適化は、モデルにビデオへの参加をやめ、代わりに言語的な先行性を利用するように促すことができます -- 視覚的ショートカット( visual shortcut)と呼ばれる失敗です。 このような知覚バイパスの存在は、現在までに文書化されているが、どのように形成され、それが取り除かれるか、介入がまだオープンなままである。 グラウンドティングペナルティであるラムダの強度を制御ノブとして扱い、トレーニング時間軸に沿った視覚的ショートカットの形成・反転ダイナミクスを特徴付ける。 留意点, 分布外診断セットについて, 以下のことが判明した。 (i)急激なオンセット -- 急激なショートカット依存は、最適化ステップの狭い窓の上に突然現れ、ランダムな種にまたがって堅牢である。 (ii) モノトン線量応答 -- ラムダの増大はショートカットを徐々に抑制し、中間線量では軌道を最初に形成し、その後ショートカットを反転させ、その取得と除去の間にヒステリシスのような非対称性を露呈する。 三 致命的な介入の窓 -- 開始前に罰則を適用することは、ショートカットの形成を阻害する一方、統合後の同じ罰則は、著しく効果が低い。 これらの結果は、視覚的ショートカット崩壊をバイナリ欠陥ではなく、制御可能、時間依存、非対称なプロセスとして再キャストし、マルチモーダルRLVRの正則化をいつ、どのように強力に行うかという直接的な意味を持つ。

関連論文リスト

• Robustness Verification of Recurrent Neural Networks with Abstraction Refinement [0.0]
  本稿では,この区間を分割して支配的緩和誤差を除去するRNN検証のための抽象化・リファインメントフレームワークを提案する。 CIFAR10とMNISTストロークベンチマークの実験では、抽象のみのベースラインよりも検証成功と堅牢性に一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-06-10T11:30:37Z)
• MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
  MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。 本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T08:53:34Z)
• Closed-Loop Neural Activation Control in Vision-Language-Action Models [19.22723477431829]
  本稿では,静的干渉強度を適応時間変化制御信号に置き換えるクローズドループフレームワークを提案する。 我々はこのフレームワークをPIDと強化学習ベースのコントローラの両方でインスタンス化する。 実験により、残留STEERは固定係数ベースラインよりも安定な概念規制とステアリングタスク成功トレードオフを実現することが示された。
  論文  参考訳（メタデータ） (2026-05-29T18:59:53Z)
• ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning [91.51460129144654]
  我々はParaVTを紹介した。ParaVTは、Parallel Video Tool呼び出しのための、最初のマルチエージェントのエンドツーエンドRLトレーニングフレームワークである。 ParaVTはQwen3-VLベースラインを平均で+7.9%改善し、PARA-GRPOはトレーニングタイムのフォーマット準拠を0.13から0.64に引き上げた。
  論文  参考訳（メタデータ） (2026-05-19T18:01:26Z)
• Unlocking Complex Visual Generation via Closed-Loop Verified Reasoning [11.461705552241163]
  Closed-Loop Visual Reasoning (CLVR)は、視覚言語論理計画とピクセルレベルの拡散生成を結合した総合システムである。 CLVRは、信頼性の高い推論軌跡を合成するためのステップレベルの視覚的検証を備えた自動データエンジンを導入している。 繰り返し復調による遅延ボトルネックを軽減するため,DSWM($$-Space Weight)を提案する。
  論文  参考訳（メタデータ） (2026-05-14T14:22:25Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning [61.380634253724594]
  次トーケン予測に基づく大規模自己回帰モデルの構築と強化学習(RL)による微調整 自己回帰モデルの内部表現を動作させ,探索することにより,この問題を克服できることを示す。
  論文  参考訳（メタデータ） (2025-12-23T18:51:50Z)
• Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models [13.32858759983739]
  LVLM(Large Vision-Language Models)は、しばしばオブジェクト幻覚に悩まされ、視覚入力と矛盾するテキストを生成する。 この問題を緩和するための既存の推論時間の介入は、難しいトレードオフをもたらします。 本稿では,LVLMを視覚的に生成するフレームワークであるResidual-Update Directed Decoding Regulation(RUDDER)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T13:29:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。