論文の概要: Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.16999v1
• Date: Sat, 16 May 2026 13:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.413191
• Title: Ranking-Aware Calibration for Reliable Multimodal Reinforcement Learning
• Title（参考訳）: 信頼性のあるマルチモーダル強化学習のためのランキングアウェア校正
• Authors: Peng Cui, Boyao Yang, Jun Zhu,
• Abstract要約: 本稿では,2つの比較信号を用いて信頼度を監督する学習時間フレームワークであるRanding-Aware(RAC)を紹介する。 我々はQwen2.5-VL InternVL-3.5バックボーン上でRACをインスタンス化し、クリーンで破損した入力の下で6つのマルチモーダル推論ベンチマークで評価する。
• 参考スコア（独自算出の注目度）: 28.00739954235118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning post-training has substantially improved the reasoning accuracy of vision-language models, yet the resulting policies remain poorly calibrated. Terminal correctness rewards provide no gradient that penalizes confident errors more than uncertain ones and no signal that ties confidence to the quality of visual evidence, a gap that becomes especially severe under corrupted or ambiguous inputs where models continue to report high confidence on incorrect answers. We introduce Ranking-Aware Calibration (RAC), a training-time framework that supervises confidence using two comparison signals that group-based RL already produces at no additional labeling cost. The ranking-aware group loss enforces that a better rollout receives higher confidence than a worse one within the same prompt. The clean--corrupted pairwise loss enforces that confidence attenuates as visual evidence degrades. Because the ranking signal forces the policy to distinguish between correct and incorrect reasoning paths, it also reinforces task accuracy beyond what correctness rewards alone produce. Both losses require no external confidence annotations and integrate naturally with group-based RL post-training. We instantiate RAC on Qwen2.5-VL and InternVL-3.5 backbones and evaluate on six multimodal reasoning benchmarks under clean and corrupted inputs. Empirical results show that the ranking-aware loss substantially improves task accuracy by teaching the policy to discriminate between better and worse reasoning, while the pairwise corruption loss reduces calibration error under degraded inputs. Their combination achieves the best calibration across all tested backbones while improving accuracy in the majority of settings.
• Abstract（参考訳）: 強化学習後の学習は、視覚言語モデルの推論精度を大幅に向上させたが、その結果のポリシーは未調整のままである。 終末正当性報酬は、不確実性以上の確実なエラーをペナルティ化する勾配を持たず、視覚的証拠の品質に信頼を結び付けるシグナルも存在しない。 我々は、グループベースのRLが既に追加のラベリングコストなしで生産している2つの比較信号を用いて、信頼性を監督する訓練時フレームワークであるRanding-Aware Calibration (RAC)を紹介した。 ランクを意識したグループ損失は、より優れたロールアウトが、同じプロンプト内の悪いグループよりも高い信頼を得られることを強制します。 クリーンで破損したペアワイズ損失は、視覚的証拠が劣化するにつれて、信頼が弱まることを強制する。 ランク付け信号はポリシーに正しい推論経路と間違った推論経路を区別させるよう強制するので、正当性報酬だけで得られるもの以上のタスク精度を補強する。 どちらの損失も外部信頼アノテーションを必要とせず、グループベースのRLポストトレーニングと自然に統合される。 我々はQwen2.5-VLとInternVL-3.5のバックボーン上でRACをインスタンス化し、クリーンで破損した入力の下で6つのマルチモーダル推論ベンチマークで評価する。 実証的な結果から、ランク認識損失は、より良い推論と悪い推論を区別するポリシーを教えることで、タスク精度を著しく向上し、一方、ペアの破損損失は劣化した入力のキャリブレーション誤差を低減させることが示された。 それらの組み合わせは、テストされたすべてのバックボーンで最高のキャリブレーションを実現し、ほとんどの設定で精度を向上させる。

関連論文リスト

• Calibrating LLMs with Semantic-level Reward [35.81380656593668]
  言語モデルを直接意味空間で校正するフレームワークであるtextbfCalibration with Semantic Reward (CSR) を提案する。 CSRは、ほぼすべての設定において、言語化信頼ベースラインよりも低ECEと高AUROCを一貫して達成する。
  論文  参考訳（メタデータ） (2026-05-15T03:55:11Z)
• Process Supervision of Confidence Margin for Calibrated LLM Reasoning [52.373121066425455]
  強化学習(RL)によるテスト時間計算のスケーリングは,大規模言語モデル(LLM)推論能力を向上させるための信頼性の高い経路として登場した。 しかし、結果に基づく報酬は、しばしばモデルに過信感を与え、幻覚、信頼できない信頼ベースの制御、不要な計算割り当てをもたらす。 本稿では,信頼性と信頼性を両立させるキャリブレーションを意識したRLフレームワークであるReinforcement Learning with Confidence Margin(textbfRLCM)を紹介する。
  論文  参考訳（メタデータ） (2026-04-25T14:40:13Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Improving Metacognition and Uncertainty Communication in Language Models [13.389881635116472]
  大規模言語モデル(LLM)は、意思決定の文脈でますます使われている。 LLMの自信はしばしば誤解され、正解と誤解の区別が不十分である。 教師付き微調整が不確実性を伝達するモデルの能力を向上させるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-09-30T19:50:02Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。