論文の概要: Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity

• arxiv url: http://arxiv.org/abs/2607.28849v1
• Date: Thu, 30 Jul 2026 21:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.490004
• Title: Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity
• Title（参考訳）: 改良されたサンプル複雑度を用いた過次的二段階強化学習
• Abstract要約: エントロピー正規化割引RL目的関数に対するボルツマン則の最適性を用いた過次二レベルRLアルゴリズムを提案する。 提案アルゴリズムは Hessian-free であり,O(-1)$ の反復複雑性と tildeO(-2)$ の最先端サンプル複雑性を得る。
• 参考スコア（独自算出の注目度）: 44.384258745074646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bilevel reinforcement learning (RL) is an important framework within the literature of RL that can be used to formalize various categories of problems, such as meta-learning, hierarchical task decomposition, and reinforcement learning from human feedback (RL-HF). Most of the bilevel RL algorithms are either not scalable because of using hypergradient with Hessian, or they suffer from high sample complexity because of using penalty-based approximation methods. In this work, we propose a hypergradient-based bilevel RL algorithm using the optimality of the Boltzmann policy for the entropy regularized discounted RL objective function. Our proposed algorithm is Hessian-free and obtains an iteration complexity of $O(ε^{-1})$ and state-of-the-art sample complexity of $\tilde{O}(ε^{-2})$ under mild regularity conditions. Further, in our convergence analysis, we are able to remove the assumption of the Polyak-Lojasiewicz (PL) condition on the outer-level objective function present in the prior state-of-the-art sample complexity work.
• Abstract（参考訳）: 両レベル強化学習(RL)は、メタラーニング、階層的タスク分解、人間からのフィードバックからの強化学習(RL-HF)など、さまざまな問題カテゴリの形式化に使用できる、RL文学における重要な枠組みである。 バイレベルなRLアルゴリズムの多くは、ヘシアンと過次的に使用するためスケーラビリティが低いか、ペナルティベースの近似法を使用するため、高サンプリングの複雑さに悩まされている。 本研究では、エントロピー正規化割引RL目的関数に対するボルツマン則の最適性を用いて、過勾配に基づく2レベルRLアルゴリズムを提案する。 提案アルゴリズムは Hessian-free であり,高次正規性条件下では $O(ε^{-1})$ の反復複雑性と $\tilde{O}(ε^{-2})$ の最先端サンプル複雑性が得られる。 さらに, 収束解析において, 従来最先端のサンプル複雑性研究に存在した外層目的関数に対するポリアック・ロジャシエヴィチ(PL)条件の仮定を除去することができる。

関連論文リスト

• Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification [11.621402971675835]
  本稿では,階層的強化学習(HRL)のためのモデルベースアルゴリズムであるHBPI-UCRLについて述べる。 スパース・リワード,ゴール指向の設定では,HBPI-UCRLのサンプル上限は非階層的よりも厳格に低い。
  論文  参考訳（メタデータ） (2026-07-31T11:12:31Z)
• Sample Complexity Analysis for Constrained Bilevel Reinforcement Learning [47.66330599017582]
  制約付き2レベルRLアルゴリズムのサンプル複雑性を解析し、制約なし設定の進捗状況に基づいて構築する。 我々は、一般パラメータ化ポリシーに基づくRLアルゴリズムを非滑らかな目的関数で解析する最初の人である。
  論文  参考訳（メタデータ） (2026-01-30T20:10:21Z)
• A Regularized Actor-Critic Algorithm for Bi-Level Reinforcement Learning [24.969317765059174]
  我々は,上層目標が滑らかな関数であり,下層問題はマルコフ決定過程(MDP)におけるポリシー最適化である構造的二層最適化問題について検討する。 既存の2段階最適化法とRLは、しばしば2階情報を必要とし、下位レベルに強い正規化を課すか、ネストループ手順でサンプルを非効率に利用する。 本稿では, ペナルティに基づくリフレクションにより, 両レベル目標を最適化する単一ループ一階アクター批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-23T02:12:24Z)
• On The Sample Complexity Bounds In Bilevel Reinforcement Learning [49.19950489963245]
  二段階強化学習(BRL)は、生成モデルを調整するための強力なフレームワークとして登場した。 連続状態-作用複雑性において$mathcalO(epsilon)$の最初のサンプルを示す。 我々の分析は、既存の$mathcalO(epsilon)$のバウンダリで、複雑さを改善します。
  論文  参考訳（メタデータ） (2025-03-22T04:22:04Z)
• Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity [4.917399520581689]
  2段階強化学習 (RL) は2段階間問題を特徴とする。 非レベル凸情報は、双レベル最適化手法を開発する上での障害である。 ハイパーグラディエント(Hyper-gradient)は、エクスプロイトと探索の統合として機能する。
  論文  参考訳（メタデータ） (2024-05-30T05:24:20Z)
• A Nearly Optimal and Low-Switching Algorithm for Reinforcement Learning with General Function Approximation [67.66904892192794]
  我々は、強化学習のための新しいアルゴリズム、MQL-UCBを用いたモノトニックQ-Learningを提案する。 MQL-UCBは、$tildeO(dsqrtHK)$の最小限の後悔を実現する。 本研究は,非線形関数近似を用いたサンプル効率およびデプロイメント効率のよいQ-ラーニングの設計に重点を置いている。
  論文  参考訳（メタデータ） (2023-11-26T08:31:57Z)
• Online Sub-Sampling for Reinforcement Learning with General Function Approximation [111.01990889581243]
  本稿では,RLアルゴリズムによって収集されたデータポイントの情報取得量を測定する,効率的なオンラインサブサンプリングフレームワークを確立する。 複雑性バウンド関数クラスを持つ値ベースのメソッドの場合、$proptooperatornamepolylog(K)$ timesに対してのみポリシーを更新する必要がある。 少なくとも$Omega(K)$倍のポリシーを更新する既存のアプローチとは対照的に、当社のアプローチはポリシーの解決における最適化コールの数を劇的に削減します。
  論文  参考訳（メタデータ） (2021-06-14T07:36:25Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。