論文の概要: Robust General Utility for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.03562v1
• Date: Tue, 04 Aug 2026 12:28:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.185606
• Title: Robust General Utility for Reinforcement Learning
• Title（参考訳）: 強化学習におけるロバスト・ジェネラル・ユーティリティ
• Abstract要約: 一般用途による強化学習(RL)は、政策による占有率の任意の機能的ロバスト性を最適化することにより、古典的なRLを拡張している。 実際には、デプロイで使用されるユーティリティはトレーニングツールから逸脱し、以前の作業で対処できないギャップを生じさせる。 そこで本研究では, 実用上の不確実性を考慮した政策を訓練するミニマックス学習フレームワークである, 堅牢な汎用ユーティリティ RL を提案する。
• 参考スコア（独自算出の注目度）: 7.332941410825274
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reinforcement learning (RL) with general utility extends classic RL by optimizing an arbitrary utility functional of the policy-induced occupancy measure, thereby enabling a broader range of applications. However, previous work on general utility RL typically assumes the evaluation utility is fixed and correctly specified. In practice, the utility used at deployment can deviate from the training one, creating a robustness gap that prior work does not address. Motivated by this, we propose robust general-utility RL, a minimax learning framework that trains policies against utility misspecification within a prescribed uncertainty set. Our framework strictly generalizes standard general-utility RL while also providing a unified view of many existing RL frameworks, including reward-robust RL and constrained RL, through appropriate choices of the utility uncertainty set. We further develop provably convergent stochastic algorithms for two regimes. For concave utilities, we develop a projected stochastic gradient descent-ascent method and establish stationarity guarantees. For the more challenging nonconcave regime, we propose a stochastic prox-extragradient algorithm that mitigates ill-posed behavior induced by nonconcavity, with convergence guarantees to approximate first-order stationarity. Experiments on LLM safety alignment and exploration maximization tasks further corroborate the convergence behavior consistent with our theory.
• Abstract（参考訳）: Reinforcement Learning (RL) with general utilityは、ポリシーによって引き起こされる占有率の任意のユーティリティ機能を最適化することにより、古典的なRLを拡張し、より広い範囲の応用を可能にする。 しかし、従来の一般ユーティリティRLの研究は、一般的に、評価ユーティリティが固定され、正しく指定されていると仮定する。 実際には、デプロイで使用されるユーティリティはトレーニングツールから逸脱し、以前の作業で対処できないロバストさのギャップを生じさせます。 そこで本研究では, 実用上の不確実性を考慮した政策を訓練するミニマックス学習フレームワークである, 堅牢な汎用ユーティリティ RL を提案する。 我々のフレームワークは、実用性不確実性セットの適切な選択を通じて、報酬損益RLや制約付きRLを含む多くの既存のRLフレームワークの統一ビューを提供しながら、標準汎用性RLを厳密に一般化する。 さらに、2つのレシエーションに対して確率収束確率アルゴリズムを開発する。 凹凸型ユーティリティに対しては,確率勾配勾配上昇法を開発し,定常性を保証する。 より難易度の高い非凹凸系に対しては,非凹凸によって引き起こされる不規則な振る舞いを緩和する確率的prox-extragradientアルゴリズムを提案し,収束保証を1次定常性に近似する。 LLMの安全性アライメントと探索最大化タスクの実験は、我々の理論と整合した収束挙動をさらに相関させる。

関連論文リスト

• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma [32.401066562991744]
  非有界正の非対称最適化(UP)は普遍的でプラグアンドプレイの目的である。 UPは、Stop-gradient演算子を介してポリシーを現在の状態に固定することで最適化プロセスを再構築する。 UPは探索能力を高め、多様なRLアルゴリズムにおいて優れた推論精度を達成する。
  論文  参考訳（メタデータ） (2026-07-08T04:21:42Z)
• Soft Forward-Backward Representations for Zero-shot Reinforcement Learning with General Utilities [55.52456333246921]
  フォワード・バックワードアルゴリズムは、任意の標準RL問題をほぼ解決できるポリシーの族を検索することができる。 汎用ユーティリティを用いたRLのより大きい問題クラスに取り組み、その目的は占有率の任意の微分可能関数である。 この複雑さは、フォワード・バックワードアルゴリズムの新たな最大エントロピー(ソフト)変種によって捉えられることを示す。
  論文  参考訳（メタデータ） (2026-02-06T15:24:37Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Optimal Conservative Offline RL with General Function Approximation via Augmented Lagrangian [18.2080757218886]
  オフライン強化学習(英語: offline reinforcement learning、RL)とは、かつて収集された相互作用のデータセットから決定を下すことを指す。 一般関数近似と単一政治集中性において統計的に最適で実用的なオフラインRLアルゴリズムの最初のセットを示す。
  論文  参考訳（メタデータ） (2022-11-01T19:28:48Z)
• Policy Gradient for Reinforcement Learning with General Utilities [50.65940899590487]
  強化学習(Reinforcement Learning, RL)では、エージェントの目標は、期待される累積報酬を最大化する最適なポリシーを見つけることである。 教師なしと教師なしのRL問題の多くは、LLフレームワークには含まれていない。 一般ユーティリティによるRLのポリシー勾配定理を導出する。
  論文  参考訳（メタデータ） (2022-10-03T14:57:46Z)
• Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence [60.20076757208645]
  本稿では,正規化RLを解くためのGPMDアルゴリズムを提案する。 我々は,このアルゴリズムが次元自由な方法で,全範囲の学習率に線形に収束することを実証した。
  論文  参考訳（メタデータ） (2021-05-24T02:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。