論文の概要: Bi-Level Policy Optimization with Nyström Hypergradients

• arxiv url: http://arxiv.org/abs/2505.11714v1
• Date: Fri, 16 May 2025 21:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.799864
• Title: Bi-Level Policy Optimization with Nyström Hypergradients
• Title（参考訳）: Nyströmハイパーグラディエントを用いた二段階政策最適化
• Abstract要約: アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター 我々は,BLOのネスト構造を考慮に入れたネストを用いた,Nystr"om Hypergradients (BLPO) を用いたバイレベルポリシー最適化手法を提案する。 実験により, BLPO は PPO と同等かそれ以上に, 様々な離散的かつ連続的な制御タスクで動作することが実証された。
• 参考スコア（独自算出の注目度）: 14.87444917213389
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The dependency of the actor on the critic in actor-critic (AC) reinforcement learning means that AC can be characterized as a bilevel optimization (BLO) problem, also called a Stackelberg game. This characterization motivates two modifications to vanilla AC algorithms. First, the critic's update should be nested to learn a best response to the actor's policy. Second, the actor should update according to a hypergradient that takes changes in the critic's behavior into account. Computing this hypergradient involves finding an inverse Hessian vector product, a process that can be numerically unstable. We thus propose a new algorithm, Bilevel Policy Optimization with Nystr\"om Hypergradients (BLPO), which uses nesting to account for the nested structure of BLO, and leverages the Nystr\"om method to compute the hypergradient. Theoretically, we prove BLPO converges to (a point that satisfies the necessary conditions for) a local strong Stackelberg equilibrium in polynomial time with high probability, assuming a linear parametrization of the critic's objective. Empirically, we demonstrate that BLPO performs on par with or better than PPO on a variety of discrete and continuous control tasks.
• Abstract（参考訳）: アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター/アクター(AC)強化学習における批評家へのアクターの依存は、ACが二段階最適化(BLO)問題として特徴づけられることを意味する(スタックルバーグゲームとも呼ばれる)。 この特徴は、バニラACアルゴリズムに2つの修正を動機付けている。 まず、批評家の更新は、俳優のポリシーに対する最良の反応を学ぶためにネストされるべきである。 第二に、アクターは、批評家の行動に変化をもたらす過度な段階に従って更新する必要がある。 この過次性を計算するには、数値的に不安定な逆ヘッセンベクトル積を見つける必要がある。 そこで我々は,Nystr\"om Hypergradients (BLPO) を用いた新しいアルゴリズムを提案する。 理論的には、BLPO は(必要条件を満たす点)、批判者の目的の線形パラメトリゼーションを仮定して、多項式時間における局所強スタックルバーグ均衡に(高い確率で)収束することを証明している。 実験により, BLPO は PPO と同等かそれ以上に, 様々な離散的かつ連続的な制御タスクで動作することが実証された。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition [0.0]
  目的の曲率情報をフル活用したアクター更新の2次近似を解析する。 本研究では,この近似が2段階のアクター批判的枠組みの下で適切に修正されることを示す。 この知見に基づいて、割引報酬設定のための2次アクター批判法を定式化する。
  論文  参考訳（メタデータ） (2026-05-14T15:46:27Z)
• From $\oldsymbol{\logπ}$ to $\oldsymbolπ$: Taming Divergence in Soft Clipping via Bilateral Decoupled Decay of Probability Gradient Weight [6.07556923512707]
  Reinforcement Learning with Verifiable Rewards (RLVR)は、Large Language Model (LLM)推論の飛躍を触媒しているが、その最適化のダイナミクスは脆弱である。 GRPOのような標準的なアルゴリズムはハードクリッピングを通じて安定性を強制する。 本稿では,重要サンプリング比に基づくデカップリング崩壊機構を用いたデカップリング・グラディエント・ポリシー・最適化(DGPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-15T14:00:48Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition [51.22672287601796]
  ペナルティに基づく手法は、双レベル最適化(BLO)問題を解くのに人気がある。 それらはしばしば、大きなペナルティ項によって引き起こされる滑らかさの増加に対応するために、低レベル(LL)問題と小さな外ループステップサイズを解決するためにインナーループ反復を必要とする。 この研究は、結合制約(CC)を伴う一般的なBLO問題を考察し、上位変数と下位変数を分離する新しいペナルティ改革を活用する。
  論文  参考訳（メタデータ） (2025-11-20T20:48:14Z)
• Achieve Performatively Optimal Policy for Performative Reinforcement Learning [55.983627302691424]
  本研究は,0階次FrankWolfe- (0FW) アルゴリズムを提案する。 実験結果から, 所望のPOポリシを求める場合, 既存の近似よりも0FWの方が有効であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-06T01:56:31Z)
• Learning in Stackelberg Mean Field Games: A Non-Asymptotic Analysis [22.360309142419208]
  Stackelberg平均フィールドゲーム(MFG)におけるポリシー最適化について検討する。 本稿では,連続的に生成するマルコフサンプルを利用するシングルループアクター批判アルゴリズムAC-SMFGを提案する。 アルゴリズムの有限時間および有限サンプル収束をスタックルバーグ目標の定常点に確立する。
  論文  参考訳（メタデータ） (2025-09-18T19:58:31Z)
• The Actor-Critic Update Order Matters for PPO in Federated Reinforcement Learning [10.727328530242461]
  我々は、異なるクライアントからの批判者の分散を取り除くために、更新順序(まずアクタ、次に批判)を反転させるFedRACを提案する。 実験結果から,提案アルゴリズムはより高い累積報酬を得て,より高速に5つの実験に収束することが示唆された。
  論文  参考訳（メタデータ） (2025-06-02T02:20:22Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
  本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。 本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T23:31:01Z)
• Design from Policies: Conservative Test-Time Adaptation for Offline Policy Optimization [30.17751989299339]
  オフライントレーニングフェーズからオフラインRL(値推定とポリシ抽出)を分離し,非イテレーティブな双方向パラダイムを形成する。 この非イテレーティブなパラダイムは、テストにおいて外部レベルの最適化(政治抽出)を行いながら、トレーニングにおいて内部レベルの最適化(価値推定)を行うことを可能にする。
  論文  参考訳（メタデータ） (2023-06-26T07:46:04Z)
• ReLU to the Rescue: Improve Your On-Policy Actor-Critic with Positive Advantages [37.12048108122337]
  本稿では, アクター批判的深層強化学習におけるベイズ推定の近似に向けてのステップを提案する。 Asynchronous Advantage Actor-Critic (A3C)アルゴリズムの3つの変更によって実装されている。
  論文  参考訳（メタデータ） (2023-06-02T11:37:22Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [137.04558017227583]
  ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。 我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。 神経性交流は,大域的最適政策をサブ線形速度で求める。
  論文  参考訳（メタデータ） (2021-12-27T06:09:50Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy [122.01837436087516]
  我々は、強化学習アルゴリズムの最も一般的なファミリーの一つであるアクター批判のグローバル収束とグローバル最適性について研究する。 線形関数近似を用いたシングルタイムスケールアクター批評家の収束率と大域的最適性を確立した。
  論文  参考訳（メタデータ） (2020-08-02T14:01:49Z)
• How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization [10.424426548124696]
  本稿では,政策勾配理論に基づくモデルに基づくアクター批判アルゴリズムであるMAGEを提案する。 MAGEは学習されたダイナミクスを通じて逆伝搬し、時間差学習において勾配目標を計算する。 モデルフリーおよびモデルベースベースラインと比較して,アルゴリズムの効率性を示す。
  論文  参考訳（メタデータ） (2020-04-29T16:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。