論文の概要: RVPO: Risk-Sensitive Alignment via Variance Regularization
- arxiv url: http://arxiv.org/abs/2605.05750v1
- Date: Thu, 07 May 2026 06:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.57288
- Title: RVPO: Risk-Sensitive Alignment via Variance Regularization
- Title（参考訳）: RVPO: 可変規則化によるリスク感性アライメント
- Authors: Ivan Montero, Tomasz Jurczyk, Bhuwan Dhingra,
- Abstract要約: 本稿では, 利便集約時のリワード間分散をペナルティ化するリスクセンシティブなフレームワークであるReward-Variance Policy Optimization (RVPO)を提案する。
我々はTaylor拡張を通して、LogSumExp(SoftMin)オペレータがスムーズな分散ペナルティとして効果的に働くことを示す。
モデルがより簡単な目的を活かすために難しい制約を無視しないようにすることで、RVPOはHealthBenchの全体的なスコアを改善する。
- 参考スコア（独自算出の注目度）: 13.192921543523283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current critic-less RLHF methods aggregate multi-objective rewards via an arithmetic mean, leaving them vulnerable to constraint neglect: high-magnitude success in one objective can numerically offset critical failures in others (e.g., safety or formatting), masking low-performing "bottleneck" rewards vital for reliable multi-objective alignment. We propose Reward-Variance Policy Optimization (RVPO), a risk-sensitive framework that penalizes inter-reward variance during advantage aggregation, shifting the objective from "maximize sum" to "maximize consistency." We show via Taylor expansion that a LogSumExp (SoftMin) operator effectively acts as a smooth variance penalty. We evaluate RVPO on rubric-based medical and scientific reasoning with up to 17 concurrent LLM-judged reward signals (Qwen2.5-3B/7B/14B) and on tool-calling with rule-based constraints (Qwen2.5-1.5B/3B). By preventing the model from neglecting difficult constraints to exploit easier objectives, RVPO improves overall scores on HealthBench (0.261 vs. 0.215 for GDPO at 14B, $p < 0.001$) and maintains competitive accuracy on GPQA-Diamond without the late-stage degradation observed in other multi-reward methods, demonstrating that variance regularization mitigates constraint neglect across model scales without sacrificing general capabilities.
- Abstract（参考訳）: 現在の批判なしのRLHF法は、算術平均を通じて多目的報酬を集約し、制約の無視に弱いままにしておく: ある目的における高次成功は、他の目的における重要な失敗(例えば、安全性やフォーマット)を数値的に相殺し、信頼性の高い多目的報酬アライメントに不可欠な低パフォーマンスの「ボトルネック」報酬を隠蔽する。
本稿では,「最大和」(maximize sum)から「最大整合性」(maximize consistency)へと目標をシフトさせ,利便集約中にリワード間分散をペナルティ化するリスク感受性フレームワークであるReward-Variance Policy Optimization (RVPO)を提案する。
我々はTaylor拡張を通して、LogSumExp(SoftMin)オペレータがスムーズな分散ペナルティとして効果的に働くことを示す。
RVPO は,最大17個の LLM-judged reward signal (Qwen2.5-3B/7B/14B) とルールベース制約によるツールコール (Qwen2.5-1.5B/3B) で評価した。
RVPOは、より簡単な目的を生かすための難しい制約を無視することを防ぐために、HealthBench (0.261 vs. 0.215 for GDPO at 14B, $p < 0.001$) の総合スコアを改善し、GPQA-ダイアモンドにおける競争精度を、他のマルチリワード法で見られる後期劣化を伴わずに維持し、分散正規化が一般的な能力を犠牲にすることなくモデルスケール間の制約を緩和することを示した。
関連論文リスト
- EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。
我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
論文 参考訳（メタデータ） (2026-02-12T03:31:19Z) - Safe Langevin Soft Actor Critic [10.683491090059867]
拘束強化学習における報酬と安全性のバランスをとるために,安全ランゲヴィン・ソフト・アクター・クリティカル(SL-SAC)を導入した。
SL-SACは10タスク中7タスクで最低コストを達成し,競争的リターンを維持していることを示す。
Safety-Gymnasiumでは、SL-SACは最先端のベースラインと比較して、速度タスクの19-63%のコスト削減を実現している。
論文 参考訳（メタデータ） (2026-01-31T08:06:35Z) - Extreme Value Policy Optimization for Safe Reinforcement Learning [38.341398602157575]
Constrained Reinforcement Learning (CRL)は、事前定義された制約の下でリターンを最大化することでこの問題に対処する。
しかし、予測に基づく制約は、テール分布における稀だが高影響の極端な値イベントを見落としている。
本稿では、極値理論(EVT)を利用した極値ポリシー最適化(EVO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-01-17T11:12:24Z) - Optimistic Feasible Search for Closed-Loop Fair Threshold Decision-Making [0.0]
バンディットフィードバックからの1次元しきい値ポリシーのオンライン学習について検討する。
我々は,報酬と制約残差に対する信頼境界を維持する単純なグリッドベース手法であるOptimistic Feasible Search (OFS)を提案する。
論文 参考訳（メタデータ） (2025-12-26T10:44:40Z) - Information-Theoretic Reward Modeling for Stable RLHF: Detecting and Mitigating Reward Hacking [78.69179041551014]
本稿では,インフォメーション・ボトルネックの原理に基づく情報理論報酬モデリングフレームワークを提案する。
InfoRMは、報酬の一般化を緩和するために、嗜好に無関係な情報をフィルタリングする。
IBLは分散レベルの正規化であり、そのような偏差を罰し、最適化の展望を効果的に拡張する。
論文 参考訳（メタデータ） (2025-10-15T15:51:59Z) - MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。
我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。
数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
論文 参考訳（メタデータ） (2025-09-25T14:58:29Z) - Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression [7.238889207632064]
経験的リスク最小化(Empirical Risk Minimization、ERM)は、教師付き学習の基礎となるフレームワークである。
データが一度に1つのサンプルに到達するオンラインまたはストリーミング設定では、古典的なTERMは標準ERMに縮退する。
本稿では,従来の目的から対数を取り除き,新たな計算やメモリオーバーヘッドを伴わずに傾き効果を保存するオンラインTERMを提案する。
論文 参考訳（メタデータ） (2025-09-18T16:51:23Z) - Robust Regularization with Adversarial Labelling of Perturbed Samples [22.37046166576859]
本稿では、正規化手法として、ALPS(Adversarial Labelling of Perturbed Samples)を提案する。
ALPSはニューラルネットワークを、それぞれの真正な入力サンプルを、逆向きに割り当てられたラベルとともに、別のものに向かって摂動することによって形成された合成サンプルで訓練する。
SVHN、CIFAR-10、CIFAR-100、Tiny-ImageNetのデータセットによる実験は、ALPSが最先端の正規化性能を持っていることを示している。
論文 参考訳（メタデータ） (2021-05-28T11:26:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。