論文の概要: Sample-Efficient Reinforcement Learning with General Utilities via Neural Dual Critics

• arxiv url: http://arxiv.org/abs/2610.24880v1
• Date: Sat, 17 Oct 2026 21:35:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:36:19.227538
• Title: Sample-Efficient Reinforcement Learning with General Utilities via Neural Dual Critics
• Title（参考訳）: ニューラルデュアル批判による一般利用によるサンプル効率の良い強化学習
• Abstract要約: 一般用途による強化学習は、政策による占領対策の非線形機能を最適化する。 我々は,RLGUの目的を正確に変動する双対表現を認めるために,自然なアクター・クリティックな手法を開発した。 本手法は, ニューラル評論家を用いて, 状態-作用対の関数として, この擬似回帰を直接学習する。
• 参考スコア（独自算出の注目度）: 46.80389197344682
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement learning with general utilities optimizes nonlinear functionals of policy-induced occupancy measures. We develop a natural actor-critic method for concave RLGU objectives admitting an exact variational dual representation, with explicit constructions for a broad class of separable occupancy utilities. Rather than estimating the occupancy measure and then forming the policy-gradient pseudo-reward, our method learns this pseudo-reward directly as a function of the state-action pair using a neural critic. The critic is trained by projected stochastic updates, while multilevel Monte Carlo combines outputs across training horizons to control its bias at logarithmic expected cost. Our analysis separates conditional actor bias from estimator second moments and accounts explicitly for dual optimization, critic approximation, and neural linearization errors. Under policy-transfer, dual-stability, and local critic-regularity conditions, the method achieves $\widetilde{O}(T^{-1/2})$ global convergence above policy, critic-class, and finite-width approximation errors using $\widetilde{O}(T)$ expected environment transitions and reference samples. For a fixed critic representation, this yields $\widetilde{O}(ε^{-2})$ sampling complexity above the approximation floor, covering infinite state-action spaces and occupancy utilities beyond fixed finite vectors of returns.
• Abstract（参考訳）: 一般用途による強化学習は、政策による占領対策の非線形機能を最適化する。 我々は,広範に分離可能な占有ユーティリティの明示的な構成を伴って,厳密な変分二重表現を許容するRLGU目標を包含する自然なアクタ批判手法を開発した。 本手法は, 占有度を推定し, 政策段階の擬似逆流を形成するのではなく, ニューラル評論家を用いて, 状態-作用対の関数として直接この擬似逆流を学習する。 批評家は確率的更新によってトレーニングを受け、マルチレベルモンテカルロはトレーニングの地平線を越えて出力を組み合わせて、対数的な予測コストでバイアスを制御する。 本分析では,条件付きアクターバイアスと推定第2モーメントを分離し,双対最適化,批判近似,神経線形化誤差を明示的に考慮する。 ポリシ・トランスファー、双安定性、局所的批評家・規則性条件の下で、この手法は、ポリシー、批評家クラス、有限幅近似誤差を$\widetilde{O}(T)$予測環境遷移と参照サンプルを用いて、$\widetilde{O}(T^{-1/2})$大域収束を達成する。 固定された批評家の表現に対して、これは$\widetilde{O}(ε^{-2})$ sample complexity on the approximation floor, including infinite state-action space and cccupancy utilities beyond fixed finite vectors of return。

関連論文リスト

• Unregularized Convergence of Single-Loop, Entropy-Regularized Natural Actor-Critic [3.756550107432323]
  エントロピー正則化は自然政策勾配法の安定化と加速に広く用いられている。 我々は1ループのエントロピー規則化自然アクター・クライトを解析する。 非中心的な批評家を訓練することで、トレーニング方針が決定論に近づいたとしても、我々の批判的追跡は安定し続けることができる。
  論文  参考訳（メタデータ） (2026-08-20T03:08:33Z)
• Log-Sum-Exponential Estimator for Off-Policy Evaluation and Learning [50.93804891554481]
  従来の逆確率スコア推定よりも優れた対数推定演算子(log-sum-exponential (LSE)演算子)に基づく新しい推定器を提案する。 我々のLSE推定器は, 重み付き条件下での分散低減とロバスト性を示す。 政治以外の学習シナリオでは、LSE推定器と最適ポリシーの間のパフォーマンスギャップである後悔の限界を確立します。
  論文  参考訳（メタデータ） (2025-06-07T17:37:10Z)
• Non-Asymptotic Analysis for Single-Loop (Natural) Actor-Critic with Compatible Function Approximation [18.77565744533582]
  アクタークリティカル (AC) は、強化学習において最適な政策を学ぶための強力な方法である。 AC は $epsilon +varepsilon_textcritic$ 定常点の近傍に収束する。 本稿では,ACアルゴリズムとNACアルゴリズムのコンバージェンスを,相反する関数近似を用いて解析する。
  論文  参考訳（メタデータ） (2024-06-03T20:05:04Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Scalable Multi-Agent Reinforcement Learning with General Utilities [30.960413388976438]
  汎用性を備えた拡張型マルチエージェント強化学習(MARL)について検討する。 目的は、チーム内の各エージェントの完全な可観測性なしに、チームのローカルユーティリティ関数の平均を最大化する、ローカライズされたポリシーを見つけることである。 これは、完全な可観測性を必要としない汎用性を持つマルチエージェントRLに関する文献の最初の結果である。
  論文  参考訳（メタデータ） (2023-02-15T20:47:43Z)
• Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation [69.0695698566235]
  線形関数近似による強化学習と,コスト関数の逆変化について検討した。 本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T17:26:39Z)
• Provably Efficient Convergence of Primal-Dual Actor-Critic with Nonlinear Function Approximation [15.319335698574932]
  The first efficient convergence result with primal-dual actor-critic with a convergence of $mathcalOleft ascent(Nright)Nright)$ under Polyian sample。 Open GymAI連続制御タスクの結果。
  論文  参考訳（メタデータ） (2022-02-28T15:16:23Z)
• Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy [122.01837436087516]
  我々は、強化学習アルゴリズムの最も一般的なファミリーの一つであるアクター批判のグローバル収束とグローバル最適性について研究する。 線形関数近似を用いたシングルタイムスケールアクター批評家の収束率と大域的最適性を確立した。
  論文  参考訳（メタデータ） (2020-08-02T14:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。