論文の概要: Improved Sample Complexity Analysis For First Order Bilevel Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.01500v1
- Date: Sun, 01 Nov 2026 03:34:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 23:16:07.915766
- Title: Improved Sample Complexity Analysis For First Order Bilevel Reinforcement Learning
- Title（参考訳）: 1次2段階強化学習のためのサンプル複雑度解析の改良
- Abstract要約: 我々は,特定の多層ニューラルアクターを用いた連続状態と有限動作の手法を開発した。
共同降下と追跡の議論は、選択された正規化ポリシー応答によって誘導される上位目標の期待勾配2乗ノルムに対して、改善された$widetildemathcal O(varepsilon-2)$サンプル複雑性を確立する。
- 参考スコア（独自算出の注目度）: 44.384258745074646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bilevel reinforcement learning optimizes an upper-level objective through the policy response to a lower-level reinforcement learning problem. Such problems arise when learning a reward model while adapting a policy to that reward. However, a gap remains between sample-complexity guarantees and practical actor--critic training. Tabular analyses restrict applicability to finite spaces, while continuous-state analyses often impose a uniform Polyak--Łojasiewicz (PL) condition. We show that this condition need not hold even for smooth positive policies with exactly representable values. We develop a single-loop, fully first-order method for continuous states and finite actions with specified multilayer neural actors and a persistently trained nonlinear critic built from fixed features. Under explicit initialization, regularity, feature-excitation, and value-realizability conditions, fixed reference-KL regularization yields local curvature, and we prove containment of the coupled iterates. Shared trajectories control sampling noise, while paired critic analysis controls normalized critic-error differences as the response perturbation shrinks. A joint descent and tracking argument establishes an improved $\widetilde{\mathcal O}(\varepsilon^{-2})$ sample complexity for $O(\varepsilon)$ expected squared gradient norm of the upper objective induced by the selected regularized policy response, including critic training.
- Abstract（参考訳）: 両レベル強化学習は、下層強化学習問題に対する政策応答を通じて上層目標を最適化する。
このような問題は、報酬モデルを学びながら、その報酬にポリシーを適用するときに発生する。
しかし、サンプル複雑度保証と実践的アクター-批判的トレーニングの間にはギャップが残っている。
タブラル解析は有限空間への適用性を制限するが、連続状態解析はしばしば一様ポリアック-ジョジャシエヴィチ(PL)条件を課す。
この条件は、正確に表現可能な値を持つスムーズなポジティブなポリシーであっても維持する必要はないことを示す。
我々は, 連続状態と有限動作に対する単一ループ完全一階法を, 多層ニューラルアクターと, 固定された特徴から構築された永続的非線形評論家を用いて開発する。
明示的な初期化、正則性、特徴励起、および値実現可能性条件の下では、固定参照-KL正則化は局所曲率をもたらし、結合された反復の包含を証明する。
共有トラジェクトリはサンプリングノイズを制御し、ペア付き批評家分析は、応答の摂動が減少するにつれて、正規化された批評家とエラーの違いを制御する。
共同降下と追跡の議論は、より改良された$\widetilde{\mathcal O}(\varepsilon^{-2})$サンプル複雑性を$O(\varepsilon)$期待される2乗勾配ノルムに対して確立する。
関連論文リスト
- Neural Actor--Critic Learning with Minimax Critics and Reflected Langevin Sampling [4.078515631825888]
我々は,シグモイドネットワーク上の正規化ミニマックスベルマン推定器と,批判勾配によって駆動される有限反射ランゲヴィンサンプリング器を組み合わせたニューラルアクター・クリティック・プロシージャを開発した。
均一なベルマン正則性とカバーリセットサンプリングの下では、正の高次作用導出的ペナルティは値と行動段階的リスク境界をもたらす。
論文 参考訳（メタデータ） (2026-11-02T16:05:40Z) - Sample-Efficient Reinforcement Learning with General Utilities via Neural Dual Critics [46.80389197344682]
一般用途による強化学習は、政策による占領対策の非線形機能を最適化する。
我々は,RLGUの目的を正確に変動する双対表現を認めるために,自然なアクター・クリティックな手法を開発した。
本手法は, ニューラル評論家を用いて, 状態-作用対の関数として, この擬似回帰を直接学習する。
論文 参考訳（メタデータ） (2026-10-17T21:35:51Z) - A Closed-Loop Non-Asymptotic Convergence Analysis of PPO with Learned Critics and Clipping [28.20970660595941]
我々は,emph-loop actor--critic system として PPO-Clip のエンフノン漸近解析を開発した。
アクター・クローズド・クリニック・カップリング、非滑らかな確率比クリッピング、有限バッチの再利用、予測可能な早期停止をキャプチャする。
十分な結合条件は、最適化、批評家追跡、クリッピング、有限バッチエラーに共通の増幅境界を与える。
論文 参考訳（メタデータ） (2026-10-07T15:40:47Z) - Achieving $ε^{-2}$ Sample Complexity for Single-Loop Actor-Critic under Minimal Assumptions [4.440305753099883]
我々は、強化学習における非政治アクターのための最終項目収束率を確立する。
我々は、最小限の仮定の下で$$-optimal Policyを見つけるために、最初の$tildemathcalO(-2)$サンプル複雑性を保証する。
論文 参考訳（メタデータ） (2026-05-13T15:04:59Z) - Optimal Sample Complexity for Single Time-Scale Actor-Critic with Momentum [62.691095807959215]
我々は,シングルタイムスケールアクター・クリティック(AC)アルゴリズムを用いて,$O(-2)$の最適なグローバルポリシを得るための最適なサンプル複雑性を確立する。
これらのメカニズムは、既存のディープラーニングアーキテクチャと互換性があり、実用的な適用性を損なうことなく、小さな修正しか必要としない。
論文 参考訳（メタデータ） (2026-02-02T00:35:42Z) - Convergence and Sample Complexity of First-Order Methods for Agnostic Reinforcement Learning [66.4260157478436]
政策学習における強化学習について検討する。
目的は、特定の種類の利害関係において最高の政策と競争力のある政策を見つけることである。
論文 参考訳（メタデータ） (2025-07-06T14:40:05Z) - Accuracy of Discretely Sampled Stochastic Policies in Continuous-time Reinforcement Learning [3.973277434105709]
我々は、個別の時点におけるポリシーからアクションをサンプリングするポリシー実行フレームワークを厳格に分析し、それらを断片的に一定の制御として実装する。
サンプリングメッシュのサイズがゼロになる傾向にあるため、制御された状態過程は、ポリシーに従って係数で動的に弱く収束する。
これらの結果に基づいて、離散時間観測に基づいて、様々な政策勾配推定器のバイアスとばらつきを分析した。
論文 参考訳（メタデータ） (2025-03-13T02:35:23Z) - Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
我々は$f$-divergence-regularized offline policy learningを分析する。
逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。
これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
論文 参考訳（メタデータ） (2025-02-09T22:14:45Z) - A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。
PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
論文 参考訳（メタデータ） (2021-07-23T19:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。