論文の概要: Uncovering Shortcut Amplification in Video RLVR through the Lens of Perceptual Uncertainty Collapse

• arxiv url: http://arxiv.org/abs/2610.37211v1
• Date: Tue, 27 Oct 2026 13:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.637405
• Title: Uncovering Shortcut Amplification in Video RLVR through the Lens of Perceptual Uncertainty Collapse
• Title（参考訳）: 視力不確かさのレンズによるビデオRLVRのショートカット増幅
• Abstract要約: 検証可能な報酬付き強化学習(RLVR)は、LMM(Large Multimodal Models)のビデオ推論能力を高めるための効果的な訓練後パラダイムとして登場した。 結果レベルの最適化は望ましくないショートカット増幅効果を導入できることを示す。 本稿では,2つの相補的な分布信号でポリシー更新を制御する自己蒸留フレームワークであるBifocal Self-distillation Policy Optimization (BSPO)を提案する。
• 参考スコア（独自算出の注目度）: 58.43146242346935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has emerged as an effective post-training paradigm for enhancing the video reasoning capability of Large Multimodal Models (LMMs). Despite its empirical effectiveness, we show that outcome-level optimization can introduce an undesirable shortcut amplification effect, whereby models increasingly favor text-prior answers even when they are not supported by the visual evidence. To characterize this behavior, we investigate the training dynamics of video RLVR through the lens of perceptual uncertainty, analyzing how predictive uncertainty evolves under video-conditioned and text-only contexts. Our analysis identifies a perceptual uncertainty collapse phenomenon, in which RL training continuously sharpens the model's answer distribution while the uncertainty reduction attributable to visual evidence progressively diminishes. A further gradient-direction analysis reveals that such confidence enhancement becomes increasingly less aligned with visually grounded uncertainty reduction and is instead dominated by text-prior compression. Motivated by these findings, we propose Bifocal Self-distillation Policy Optimization (BSPO), a self-distillation framework that regulates policy updates with two complementary distributional signals. Specifically, BSPO derives empirical reasoning principles from intra-group correct and incorrect rollouts to identify reasoning-sensitive tokens, and introduces shortcut-aware visual perturbation to penalize predictions that remain invariant when task-relevant visual evidence is weakened. By adaptively reweighting the original RL advantage, BSPO preserves the task-solving benefits of RLVR while promoting updates that are both reasoning-sensitive and visually grounded. Extensive experiments validate the effectiveness of BSPO in improving video reasoning performance and strengthening visual faithfulness.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は,LMM(Large Multimodal Models)のビデオ推論能力を高めるための効果的な訓練後パラダイムとして登場した。 その経験的効果にもかかわらず、結果レベルの最適化は望ましくないショートカット増幅効果を導入できることを示す。 この振る舞いを特徴付けるために,映像条件およびテキストのみの文脈下での予測不確実性がどのように進化するかを解析し,知覚不確実性のレンズによる映像RLVRのトレーニングダイナミクスについて検討する。 RLトレーニングは, 視覚的証拠に起因する不確実性低下が徐々に減少する一方で, モデルの解答分布を連続的に鋭くする, 知覚的不確実性崩壊現象を同定する。 さらなる勾配方向分析により、このような信頼度向上は、視覚的に根拠付けられた不確実性低減とますます一致しなくなり、代わりにテキスト優先圧縮に支配されることが明らかとなった。 そこで本研究では,2つの相補的な分布信号でポリシー更新を制御する自己蒸留フレームワークであるBifocal Self-distillation Policy Optimization (BSPO)を提案する。 具体的には、BSPOは、グループ内の正誤ロールアウトから、推論に敏感なトークンを特定するための経験的推論原則を導出し、タスク関連視覚的証拠が弱まったときに不変である予測を罰するショートカット対応の視覚的摂動を導入する。 元のRLのアドバンテージを適応的に再重み付けすることで、BSPOはRLVRのタスク解決の利点を保ちつつ、推論に敏感で視覚的に接地された更新を促進する。 広汎な実験により、BSPOの映像推論性能の向上と視覚的忠実度向上効果が検証された。

関連論文リスト

• EviStress: Evidence Stress Learning for Generalizable Face Forgery Detection with Textual Explanations [17.515739051623587]
  標準のLoRA適応CLIP検出器は、パッチレベルの不均一な決定依存を示す。 EviStressは、テキスト説明による顔偽造検出を一般化するための2段階のフレームワークである。 実験では、クロスデータセットとクロスメソッドの一般化と汚職の堅牢性が改善された。
  論文  参考訳（メタデータ） (2026-10-12T14:41:54Z)
• Beyond Entropy: Self-Diagnostic Multi-Role Token Optimization for Video Reasoning [82.12877400975769]
  我々は、信頼性の高いトークン選択と適応的な対実的介入を共同で最適化する、共進化的フレームワークであるDyCPOを紹介する。 複雑なビデオ推論と一般的なビデオ理解ベンチマークの実験は、一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2026-10-02T14:48:40Z)
• DUEL: Adversarial Self-Play for Multimodal Reasoning [16.61891948648537]
  視覚言語モデル(VLM)の推論能力向上のための効果的なパラダイムとして強化学習(RL)が登場した。 本稿では,同じ事前学習VLMから生じる2つのポリシー間の対立的相互作用から,監督が出現する自己進化的ポストトレーニングフレームワークDUELを提案する。 実験によると、DUELは人間のアノテーション、外部報酬モデル、画像編集ツールを使わずに、視覚的推論と堅牢な識別を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-24T00:38:26Z)
• Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
  本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。 因果推論において,ビデオコンテンツは体系的に過小評価されている。 教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
  論文  参考訳（メタデータ） (2026-05-10T08:48:58Z)
• On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs [15.301640007799735]
  単純な、制御されたテキストの摂動(キャプションや不正確なチェーン・オブ・シント(CoT)のトレース)は、堅牢性と信頼性が著しく低下していることを示している。 これらの脆弱性をよりよく理解するために、我々はRL微調整力学を分析し、精度と信頼のトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2026-02-13T01:12:00Z)
• Implicit Neural Representation-Based Continuous Single Image Super Resolution: An Empirical Study [50.15623093332659]
  入射神経表現(INR)は任意のスケール画像超解像(ASSR)の標準的アプローチとなっている 既存の手法を多様な設定で比較し、複数の画像品質指標に対して集計結果を示す。 トレーニング中, エッジ, テクスチャ, 細部を保存しながら, 強度変化をペナライズする新たな損失関数について検討した。
  論文  参考訳（メタデータ） (2026-01-25T07:09:20Z)
• Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reasoning Models [83.24079543652253]
  大規模言語モデル(LLM)は、強化学習(RL)最適化を通じて、推論タスクにおいて著しく進歩している。 しかし、推論指向RL微調整は幻覚の頻度を著しく高めている。 本稿では,明示的事実性検証を取り入れた革新的なRL微調整アルゴリズムであるFSPOを提案する。
  論文  参考訳（メタデータ） (2025-05-30T14:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。