論文の概要: Distributional Reward Calibration and Budget-Neutral Credit Assignment for Multimodal RLVR
- arxiv url: http://arxiv.org/abs/2610.40250v1
- Date: Thu, 29 Oct 2026 15:20:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.104574
- Title: Distributional Reward Calibration and Budget-Neutral Credit Assignment for Multimodal RLVR
- Title（参考訳）: マルチモーダルRLVRにおける分散リワード校正と予算ニュートラルクレジット割り当て
- Abstract要約: 両段階に対処する2段階推定器であるtextbfTACE (2段階アドバンテージと信頼推定) を提案する。
我々は,人口レベルのタスク間のモーメント・エクイティ,決定論的テール・バウンド,大量保存,バウンドネス,サイン・アンチョリング特性を証明した。
- 参考スコア（独自算出の注目度）: 6.929960637531297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit advantage estimation in Group Relative Policy Optimization (GRPO) and observe that any token-level advantage admits a two-stage factorization: a \emph{sample-level baselining} step that converts scalar verifier rewards into a comparable sequence-level signal, and a \emph{token-level credit assignment} step that distributes that signal over the trajectory. Existing estimators typically address only one of these stages: affine baselines preserve the shape of each task's reward law, so heavy tails and binary cliffs propagate into the gradient, while token-level credit rules tie the size of each token's update to raw confidence scales and need not conserve the total credit issued by the verifier. We propose \textbf{TACE} (Two-stage Advantage and Credit Estimation), a two-stage estimator that addresses both stages. At stage~(S1), we replace linear standardization with a one-dimensional optimal-transport map to a standard normal, which gives a common population reward law across tasks and caps finite-sample outliers deterministically. At stage~(S2), we rank-calibrate a stop-gradient evidence contrast within each trajectory and renormalize the clipped token weights to have mean one, so credit is redistributed across tokens while its total mass and sign are conserved. We prove population-level inter-task moment equity, a deterministic tail bound, and mass-conservation, boundedness, and sign-anchoring properties that affine baselines and unnormalized token weights do not satisfy. On a multimodal reasoning suite, TACE obtains the strongest results on a majority of the benchmarks but does not dominate every setting.
- Abstract（参考訳）: 我々は、グループ相対政策最適化(GRPO)における利点評価を再考し、トークンレベルの利点が2段階の分解を許容することを観察する:スカラー検証器の報酬を同等のシーケンスレベル信号に変換する \emph{sample-level baselining} ステップと、その信号を軌道上に分配する \emph{token-level credit assignment} ステップである。
アフィンベースラインは各タスクの報酬法則の形状を保持するので、重い尾と二分崖は勾配に伝播し、トークンレベルの信用ルールは各トークンの更新を生の信頼度尺度に結び付け、検証者が発行した合計クレジットを保存しない。
両段階に対処する2段階推定器である「textbf{TACE} (Two-stage Advantage and Credit Estimation)」を提案する。
ステージ~(S1)では、線形標準化を1次元の最適輸送写像に置き換え、タスク間の共通集団報酬法則を与え、有限サンプルの外れ値を決定論的に表す。
ステージ~(S2)では、各軌跡内の緩やかな証拠のコントラストをランク付けし、クリッピングされたトークン重みを平均値に再正規化するので、クレジットはトークン間で再分配され、その合計質量と記号は保存される。
我々は, 基線および非正規化トークン重みが満たさない, 集団レベルのタスク間モーメントエクイティ, 決定論的テールバウンド, 大量保存, 有界性, およびサインアンチョリング特性を証明した。
マルチモーダル推論スイートでは、TACEはベンチマークの大部分で最強の結果を得るが、すべての設定に支配的ではない。
関連論文リスト
- AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。
AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。
ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-02T12:38:53Z) - Sharp training-conditional coverage for conformal prediction under covariate shift [0.0]
重み付き分割共形予測リウェイト 度合による校正スコア
キャリブレーションデータに基づくカバレッジ条件について検討する。
2点下界は、ルートmレートとカイ二乗寄与がシフトに固有のものであることを示している。
論文 参考訳（メタデータ） (2026-09-27T11:08:32Z) - PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。
SFTはトークン単位で固定されたデモトークンに適合する。
凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
論文 参考訳（メタデータ） (2026-06-08T12:14:06Z) - OPPO: Bayesian Value Recursion for Token-Level Credit Assignment in LLM Reasoning [17.98540130851038]
検証可能な報酬を伴う強化学習は、LSM推論を改善するための標準的なレシピとなっている。
しかし、支配的なアルゴリズム GRPO は全てのトークンに対して単一の軌道レベルの利点を割り当てる。
我々は,Oracle-Prompted Policy Optimization (OPPO)を提案する。
論文 参考訳（メタデータ） (2026-05-21T00:55:13Z) - Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。
我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
論文 参考訳（メタデータ） (2026-05-08T06:35:02Z) - Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。
我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。
標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
論文 参考訳（メタデータ） (2026-04-19T08:18:29Z) - Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO [70.38763678943648]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデルにおける推論とコード生成を改善するための中心的なパラダイムとなっている。
標準的なGRPOはシーケンスアグリゲーションを使用し、最近の研究はトークンアグリゲーションをより良い代替手段として提唱している。
トークンアグリゲーションは符号長結合を導入し、シーケンスアグリゲーションは暗黙的にダウンウェイトを延長する。
論文 参考訳（メタデータ） (2026-04-14T09:48:46Z) - Deep Time-series Forecasting Needs Kernelized Moment Balancing [56.619037429652984]
深層時系列予測は、予測と地上の真実の分布を整合させることを目的とした分布バランス問題として定式化することができる。
我々は、カーネル化されたモーメントバランス(KMB-DF)による直接予測を提案する。
複数のモデルとデータセットにわたる実験により、KMB-DFは予測精度を一貫して改善し、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-31T13:20:18Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。
主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。
本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
論文 参考訳（メタデータ） (2023-10-04T17:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。