論文の概要: OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation

• arxiv url: http://arxiv.org/abs/2606.06096v1
• Date: Thu, 04 Jun 2026 12:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.789853
• Title: OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation
• Title（参考訳）: OrderGrad: 順序統計的政策勾配推定による平均を超える最適化
• Authors: Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Shota Takashiro, Soichiro Nishimori, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo,
• Abstract要約: OrderGradは、オーダー統計目的のための確率に基づく勾配推定器のファミリーである。 VaR、CVaR、トリミングされた手段、中央値、トップm/ベスト・オブ・Kといった目標を、ランクの重みだけを変えることで回収する。 推定器の分散挙動を推定し、平均最適化が配置目標と一致していないタスクで評価する。
• 参考スコア（独自算出の注目度）: 38.52509364819271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy-gradient methods usually optimize expected return, but many real world applications care about distributional properties of returns: tail risk, outlier robustness, or best-of-K discovery. We introduce OrderGrad, a family of likelihood-ratio and reparameterization gradient estimators for order-statistic objectives. OrderGrad optimizes finite-sample L-statistics, i.e., weighted averages of sorted rewards or costs, recovering objectives such as VaR, CVaR, trimmed means, medians, and top-m/best-of-K criteria by changing only the rank weights. For any fixed sample size and rank-weight vector, OrderGrad provides an unbiased gradient estimator for the corresponding order-statistic objective. The method is implemented as a simple reward transformation that can then be used in an otherwise standard policy-gradient or reparameterized update. We study the resulting estimator's variance behavior and evaluate it on tasks where mean optimization is mismatched to the deployment objective, including LLM math post-training and other tasks. OrderGrad provides a unified, plug-and-play route to risk-averse, robust, and exploratory learning. Code: https://github.com/paavo5/ordergrad
• Abstract（参考訳）: 政策段階の手法は通常、期待されるリターンを最適化するが、多くの現実世界のアプリケーションはリターンの分布特性に関心がある。 そこで我々は,次数統計的目的に対する次数比および再パラメータ化勾配推定器のファミリーであるOrderGradを紹介する。 OrderGradは有限サンプルのL-統計、すなわち、ソートされた報酬またはコストの重み付け平均を最適化し、VaR、CVaR、トリミングされた手段、中央値、およびトップm/ベスト・オブ・Kの基準をランクの重みだけを変更することで、目的を回復する。 任意の固定されたサンプルサイズと階数重ベクトルに対して、オーダーグレードは対応する順序統計目標に対する偏りのない勾配推定器を提供する。 この方法は単純な報酬変換として実装され、それ以外は標準のポリシー段階または再パラメータ化更新で使用することができる。 本研究は, 推定器の分散挙動を解析し, LLM 算数ポストトレーニングなど, 平均最適化が配置目標と不一致なタスクで評価する。 OrderGradは、リスク回避、堅牢、探索的な学習への統一されたプラグアンドプレイのルートを提供する。 コード:https://github.com/paavo5/ordergrad

関連論文リスト

• Metric-agnostic Learning-to-Rank via Boosting and Rank Approximation [33.0347118359824]
  そこで本研究では,各クエリの平均平方損失に対してスムーズな近似を組み合わした,新たな微分可能なランキング損失を提案する。 本手法は,情報検索における現状と同等の効率で性能を向上する。
  論文  参考訳（メタデータ） (2026-04-16T14:59:00Z)
• CAIRO: Decoupling Order from Scale in Regression [13.755937210012883]
  回帰を2つの異なる段階に分離する枠組みを提案する。 第1段階では,スケール不変ランキングの損失を最小限に抑えることで,スコアリング関数を学習する。 第2に,等速回帰による目標スケールの復元を行う。
  論文  参考訳（メタデータ） (2026-02-16T03:50:05Z)
• PLUMAGE: Probabilistic Low rank Unbiased Min Variance Gradient Estimator for Efficient Large Model Training [21.695928776150808]
  アクセラレータのメモリとネットワークの制約は、大きな言語モデルをトレーニングする際の主要なボトルネックとして現れている。 PLUMAGE: Probabilistic Low rank Unbiased Minimum v Ariance Gradient Estorを提案する。 PLUMAGEは,モデル全体で平均33%,GLUEベンチマークで平均28%,GaloREと同様の計算量およびメモリフットプリントで平均33%の事前トレーニング評価損失に対して,フルランク最適化のギャップを縮めることを実証的に実証した。
  論文  参考訳（メタデータ） (2025-05-23T19:17:55Z)
• Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
  オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。 学習シナリオにおける同値性に基づく単一のフレームワークを提案する。 我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
  論文  参考訳（メタデータ） (2024-05-09T12:52:22Z)
• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time Guarantees [56.848265937921354]
  逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。 IRLの多くのアルゴリズムは本質的にネスト構造を持つ。 我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-10-04T17:13:45Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。