論文の概要: Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence

• arxiv url: http://arxiv.org/abs/2610.21671v1
• Date: Thu, 15 Oct 2026 10:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.041628
• Title: Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence
• Title（参考訳）: Pairwise Token ContrastとAdaptive Trajectory Confidenceを用いたマルチモーダルRLVRの実現
• Abstract要約: Pairwise token contrastとAdaptive trajectory ConfidencEを提案する。 PACEは3つのバックボーンで最高の平均精度を達成し、評価された全てのマルチモーダル推論ベンチマークで最初にランク付けする。
• 参考スコア（独自算出の注目度）: 10.528106850265091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves multimodal reasoning, but group-relative policy optimization broadcasts a single sequence-level advantage to every token of a response, although errors usually localize to a few decisive steps. Recent self-distilled variants refine credit with a teacher--student likelihood gap. However, this signal cannot tell whether it relies on the image or on a language shortcut, and is applied uniformly even when the teacher is uninformative. To address this, we propose Pairwise token contrast and Adaptive trajectory ConfidencE (PACE). Pairwise token contrast scores each response under four teacher views, crossing a correct or incorrect answer hint with the image present or removed, and compares the two hints for every token, which cancels shifts shared by both hints and reveals whether the token's support relies on the image. Adaptive trajectory confidence measures how well the teacher predicts each response given the correct hint and the image, normalizes this score within the batch, and uses it to set how far the token contrast redistributes credit within that response. PACE achieves the best average accuracy on three backbones and ranks first on all evaluated multimodal reasoning benchmarks with Qwen3-VL-8B-Instruct. Experiments show that both components matter: replacing pairwise token contrast with a single-view signal underperforms our method, while adaptive trajectory confidence adds further improvement.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)はマルチモーダル推論を改善するが、グループ相対ポリシー最適化は応答のトークン毎に単一のシーケンスレベルの利点を放送するが、エラーは通常いくつかの決定的なステップに局所化する。 近年の自己蒸留変種は,教師の信頼度を高めている。 しかし、この信号は、画像に依存するか、言語ショートカットに依存しているかは判別できず、教師が非形式的である場合でも一様に適用される。 そこで我々はPairwise token contrast and Adaptive trajectory ConfidencE (PACE)を提案する。 ペアワイズトークンコントラストは、4つの教師ビューの下で各応答をスコアし、正解または誤解のヒントを現像または削除した画像と比較し、両方のヒントで共有されるシフトをキャンセルし、トークンのサポートが画像に依存するかどうかを明らかにする。 アダプティブ・トラジェクトリ・信頼度は、教師が正しいヒントとイメージを与えられた反応をどれだけ正確に予測するかを測定し、このスコアをバッチ内で正規化し、トークンのコントラストがその反応の中で信用を再分配するかを設定する。 PACEは、Qwen3-VL-8B-Instructで評価された全てのマルチモーダル推論ベンチマークにおいて、3つのバックボーン上で最高の平均精度を達成する。 実験により、両コンポーネントが重要であることが示される: ペアワイズトークンコントラストを単一ビュー信号に置き換えることが、我々の手法を過小評価する一方で、適応軌道の信頼性はさらなる改善をもたらす。

関連論文リスト

• VAttnPO: Visual Attention-Guided Policy Optimization [32.80475611792639]
  VAttnPOは、トークンレベルの信用を洗練するために、応答条件付き視覚的注意を使用する。 凍結した古いポリシーは、既知の正解を強制する教師による視覚的参照を構築する。 軌道中心、相対位置重み付け、信用バランスは、この合意をゼロ平均位置対応補正に変換する。
  論文  参考訳（メタデータ） (2026-10-12T13:04:45Z)
• Relative Patch Response Learning for Generalizable AI-Generated Image Detection [31.350151670807083]
  信頼できる検出器は、目に見えない発電機に一般化し、野生の目に見えない摂動に頑健でいなければならない。 既存の検出器は通常、独立して収集された実画像と生成された画像、または、整列した実画像のペアで訓練される。 セルフアテンションによって、実際のパッチと生成されたパッチが相互作用できるので、各パッチの機能は、もはや自身のソースのみを反映しない。 各パッチをラベル付けする代わりに、PRLは、一致したペアの2つの混合ビューで同じパッチを比較し、そのパッチ応答、ビュー間のスコアの変化から学習する。
  論文  参考訳（メタデータ） (2026-10-08T12:49:54Z)
• TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models [27.31606612106555]
  テスト時強化学習により、未ラベル入力を用いて視覚言語モデルに適応することができる。 我々は,多視点応答レベル自己蒸留と視覚的コントラストトークン選択を組み合わせたテスト時強化学習フレームワークTTRSDを提案する。
  論文  参考訳（メタデータ） (2026-09-27T09:49:39Z)
• Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning [66.13367818892503]
  Vlm 適応性を向上させるために画像探索依存を利用したテスト時強化学習フレームワーク TTIQ を提案する。 TTIQの教師は、元の画像検索ペアとその画像と質問対応のバリエーションの下で、各サンプル応答を強制する。 イメージと質問への依存と信頼を組み合わせることで、共同で接地された応答を好む応答レベルの報酬を構築する。
  論文  参考訳（メタデータ） (2026-09-09T22:54:15Z)
• AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals [65.71225905458182]
  自己蒸留は、生徒と教師の両方と同じモデルを用いて、言語モデルが自身の軌道から政治学を学ぶことを可能にする。 このセットアップは、別の外部モデルに頼ることなく、密集したトークンレベルのフィードバックを提供する。 複数の特権情報ビューを持つ自己蒸留法であるAVSDを紹介する。
  論文  参考訳（メタデータ） (2026-05-20T03:06:36Z)
• Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
  本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。 提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
  論文  参考訳（メタデータ） (2023-08-19T05:34:13Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。