論文の概要: Off-Policy Learning in Large Action Spaces: Optimization Matters More Than Estimation

• arxiv url: http://arxiv.org/abs/2509.03456v1
• Date: Wed, 03 Sep 2025 16:25:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.594857
• Title: Off-Policy Learning in Large Action Spaces: Optimization Matters More Than Estimation
• Title（参考訳）: 大規模行動空間におけるオフポリティ学習 : 最適化は推定以上に重要である
• Authors: Imad Aouali, Otmane Sakhi,
• Abstract要約: オフ政治評価(OPE)とオフ政治学習(OPL)は、オフライン文脈における意思決定の基礎となる。 OPLの最近の進歩は、統計特性を改善したOPE推定器を最適化している。 この推定器中心のアプローチは、最適化ランドスケープに挑戦する、重要な現実的な障害を無視している、と我々は主張する。
• 参考スコア（独自算出の注目度）: 6.001574550157585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Off-policy evaluation (OPE) and off-policy learning (OPL) are foundational for decision-making in offline contextual bandits. Recent advances in OPL primarily optimize OPE estimators with improved statistical properties, assuming that better estimators inherently yield superior policies. Although theoretically justified, we argue this estimator-centric approach neglects a critical practical obstacle: challenging optimization landscapes. In this paper, we provide theoretical insights and extensive empirical evidence showing that current OPL methods encounter severe optimization issues, particularly as action spaces become large. We demonstrate that simpler weighted log-likelihood objectives enjoy substantially better optimization properties and still recover competitive, often superior, learned policies. Our findings emphasize the necessity of explicitly addressing optimization considerations in the development of OPL algorithms for large action spaces.
• Abstract（参考訳）: オフ政治評価(OPE)とオフ政治学習(OPL)は、オフライン文脈における意思決定の基礎となる。 OPLの最近の進歩は、より優れた推定器が本質的に優れたポリシーをもたらすと仮定して、統計特性を改善したOPE推定器を最適化している。 理論上は正当化されているが、この推定器中心のアプローチは重要な現実的な障害を無視している、と我々は主張する。 本稿では,現在のOPL手法が,特にアクション空間が大きくなるにつれて,深刻な最適化問題に直面することを示す理論的知見と広範な実証的証拠を提供する。 より単純な重み付けされたログライクな目的は、かなり優れた最適化特性を享受し、競争力があり、しばしば優れた学習ポリシーを回復することを示した。 本研究は,大規模行動空間のためのOPLアルゴリズムの開発において,最適化の考慮事項を明確化することの必要性を強調した。

関連論文リスト

• Reinforcement Learning-assisted Constraint Relaxation for Constrained Expensive Optimization [14.12072551134237]
  本稿では,強化学習による学習効率,適応性,一般化可能な制約処理ポリシーを提案する。 具体的には、最適化されたマルコフ決定プロセスが最初に定式化され、最適化の動的特徴が与えられた場合、深いQネットワークベースのポリシーが制約緩和レベルを制御する。 このような適応的制約処理は、客観的なエクスプロイトと実現可能な地域指向の探索の間の柔軟なトレードオフを提供する。
  論文  参考訳（メタデータ） (2026-01-31T05:52:36Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• On-Policy RL with Optimal Reward Baseline [109.47676554514193]
  On-Policy RL with Optimal reward baseline (OPO) は、新しい簡易強化学習アルゴリズムである。 OPOは、訓練プロセスを実証的に安定化し、探索を強化する、正確なオンライントレーニングの重要性を強調している。 その結果、OPOの優れた性能と訓練安定性を、追加のモデルや正規化条件なしで示すことができた。
  論文  参考訳（メタデータ） (2025-05-29T15:58:04Z)
• AAPO: Enhance the Reasoning Capabilities of LLMs with Advantage Momentum [45.135858299101386]
  大規模言語モデル(LLM)の推論能力を高める効果的なアプローチとして強化学習(RL)が登場している。 グループ相対的優位性推定は、値モデルへの依存性を排除したことでかなりの注目を集めている。 本稿では,モーメントに基づく推定手法によって強化された利点を用いて,クロスエントロピー損失を最適化する新しいRLアルゴリズムであるAdvantage-Augmented Policy Optimization (AAPO)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:13:44Z)
• A Survey of Direct Preference Optimization [103.59317151002693]
  LLM(Large Language Models)は、前例のない生成能力を示す。 人的価値との整合性は、有用で無害なデプロイメントを保証する上で、依然として重要です。 直接優先度最適化(DPO)は、最近、合理化された代替案として注目されている。
  論文  参考訳（メタデータ） (2025-03-12T08:45:15Z)
• Accelerated Preference Optimization for Large Language Model Alignment [60.22606527763201]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデル(LLM)を人間の好みに合わせるための重要なツールとして登場した。 直接選好最適化(DPO)は、報酬関数を明示的に見積もることなく、ポリシー最適化問題としてRLHFを定式化する。 本稿では,既存の最適化アルゴリズムを統一したAPO(Accelerated Preference Optimization)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T18:51:01Z)
• Preference-Guided Reinforcement Learning for Efficient Exploration [14.058764537783086]
  LOPE: textbfLearning textbfOnline with trajectory textbfPreferencedanctextbfE, a end-to-end preference-guided RL framework。 我々の直感では、LOPEは人的フィードバックをガイダンスとして考慮し、オンライン探索の焦点を直接調整する。 LOPEは収束率と全体的な性能の点で、最先端のいくつかの手法より優れている。
  論文  参考訳（メタデータ） (2024-07-09T02:11:12Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Logarithmic Smoothing for Pessimistic Off-Policy Evaluation, Selection and Learning [7.085987593010675]
  本研究は,文脈的包帯問題のオフライン定式化について検討する。 目標は、行動ポリシーの下で収集された過去のインタラクションを活用して、新しい、より優れたパフォーマンスのポリシーを評価し、選択し、学習することである。 重要度重み付けリスク推定器の幅広いクラスに対して,新しい完全経験的濃度境界を導入する。
  論文  参考訳（メタデータ） (2024-05-23T09:07:27Z)
• Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation [46.61909578101735]
  AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。 本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:20:12Z)
• Towards Efficient Exact Optimization of Language Model Alignment [93.39181634597877]
  嗜好データから直接ポリシーを最適化するために、直接選好最適化(DPO)が提案された。 問題の最適解に基づいて導出されたDPOが,現実の最適解の妥協平均探索近似に繋がることを示す。 本稿では、アライメント目的の効率的な精度最適化(EXO)を提案する。
  論文  参考訳（メタデータ） (2024-02-01T18:51:54Z)
• Pessimistic Off-Policy Multi-Objective Optimization [22.525654101072252]
  既存のポリシーによって収集されたデータから,多目的ポリシーのオフライン最適化について検討する。 本稿では,多目的ポリシー値に対する悲観的推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。