論文の概要: Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.02505v1
• Date: Thu, 01 Oct 2026 21:27:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.09202
• Title: Multi-Fidelity Policy Gradients Stabilize Data-Scarce Reinforcement Learning
• Title（参考訳）: データスカース強化学習を安定化する多要素ポリシーグラディエント
• Abstract要約: プライマリ・グラデーション・メソッドは、高価で少ないターゲット・ドメインのデータがノイズのあるグラデーション・見積もりをもたらすと不安定になる可能性がある。 我々は、限られた高忠実度(HF)ターゲットドメインデータを、豊富で安価だがバイアスの多い低忠実度データで補完することで、この問題に対処する。 我々は,GPU並列シミュレーションと物理ロボットを用いた現代アクタ・アクタ・クリティカルラーニングのためのポリシ・グラデーションを開発する。
• 参考スコア（独自算出の注目度）: 21.34504562375879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Policy gradient methods for on-policy reinforcement learning (RL) can become unstable when expensive, scarce target-domain data yield noisy gradient estimates. We address this challenge by complementing limited high-fidelity (HF) target-domain data with abundant, cheap, but biased low-fidelity (LF) data, e.g., from a simplified simulator. Most existing methods directly optimize biased objectives based on LF data. In contrast, the recently introduced multi-fidelity policy gradient (MFPG) framework uses LF data solely to construct a control variate that reduces variance and improves HF data efficiency without biasing the policy gradient estimator. However, published work on MFPG is limited to REINFORCE on small-scale simulation tasks. We develop MFPG for modern actor-critic learning in GPU-parallel simulation and on a physical robot. Our analysis and experiments show that naive extensions to proximal policy optimization (PPO) can lose cross-fidelity correlation or inflate variance. Our MFPG-PPO addresses these failures by redesigning the sampling, advantage estimation, and control variate construction to preserve cross-fidelity correlation, and by monitoring estimator uncertainty to prevent variance inflation. We also introduce a budget-aware MFPG-PPO to divide a fixed sampling budget among high- and low-fidelity data sources. Across simulated robot locomotion tasks of varying LF-to-HF transfer difficulty and HF data budgets, MFPG-PPO improves upon PPO trained on HF data alone in nearly all settings, and consistently matches the performance of PPO trained with 16x more HF data on the hardest task at the smallest HF budgets. In contrast, most baselines that use LF data perform well only where direct LF-to-HF transfer succeeds. MFPG-PPO enables stable learning on a physical Franka arm using only 4 real-robot episodes per update and no human demonstrations.
• Abstract（参考訳）: オンライン強化学習(RL)の政策勾配法は,高額で少ないターゲットドメインデータからノイズ勾配の推定値が得られると不安定になる可能性がある。 本課題は,HF(High-fidelity)ターゲットドメインデータと,多量かつ安価でバイアスの少ないLF(low-fidelity)データとを,単純化したシミュレータから補完することで解決する。 既存のほとんどの手法は、LFデータに基づいて偏りのある目的を直接最適化する。 対照的に、最近導入されたMFPG(Multi-fidelity Policy gradient)フレームワークでは、LFデータのみを使用して、分散を低減し、ポリシー勾配推定器をバイアスすることなく、HFデータ効率を改善する制御バリアントを構築している。 しかし、MFPGに関する論文は、小規模シミュレーションタスクにおけるREINFORCEに限られている。 我々は,GPU並列シミュレーションと物理ロボットを用いた現代アクター・クリティック・ラーニングのためのMFPGを開発した。 分析と実験により,PPO(Platmal Policy Optimization)の拡張性は,相互信頼相関や拡散分散を損なう可能性が示唆された。 MFPG-PPOは, 相互信頼関係を維持するため, サンプリング, 優位推定, 制御変数構成を再設計し, 分散インフレーションを防止するための推定器の不確実性を監視することにより, これらの障害に対処する。 また,固定サンプリング予算を高・低忠実なデータソースに分割するために,予算対応のMFPG-PPOを導入する。 MFPG-PPOは、LF-to-HF転送困難とHFデータ予算のシミュレーションされたロボット移動タスク全体にわたって、ほぼすべての設定でHFデータでトレーニングされたPPOを改善し、最小のHF予算で最も難しいタスクで16倍のHFデータでトレーニングされたPPOのパフォーマンスと一貫して一致させる。 対照的に、LFデータを使用するほとんどのベースラインは、LF-to-HF転送が成功する場合にのみうまく機能する。 MFPG-PPOは、更新毎に4つの実ロボットエピソードしか使用せず、人間のデモも行わない物理的フランカ腕での安定した学習を可能にする。

関連論文リスト

• Ratio-Variance Regularized Policy Optimization [64.95520246570446]
  ポリシ比の分散を明示的に制約することは、信頼領域の制約に対する原則的な局所近似をもたらすことを示す。 本稿では,この制約を実装したR2bf VPO$(Ratio-Variance Regularized Policy Optimization)を紹介する。
  論文  参考訳（メタデータ） (2026-05-26T09:53:42Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs [19.079556051442168]
  強化学習(Reinforcement Learning, RL)は、推論タスクにおける大規模言語モデルの改善に広く用いられている。 しかし、REINFORCE や GRPO のような広く採用されている批判のない政策段階的手法では、高い非同期性によって政策段階的推定器は明らかにノイズを生じさせる。 本稿では,REINFORCE/GRPOスタイルのアルゴリズムの安定化手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T18:40:51Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• Ratio-Variance Regularized Policy Optimization for Efficient LLM Fine-tuning [48.34492357368989]
  本稿では,安定なオン・ポリティクス学習をサポートし,オフ・ポリティクスデータの再利用を原則とするプリミティブ・デュアル・フレームワークを提案する。 R2VPO$は、強いクリッピングベースのベースラインよりも17%の平均的な相対的なゲインで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-01-06T14:01:42Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• A Multi-Fidelity Control Variate Approach for Policy Gradient Estimation [22.095132833345776]
  強化学習アルゴリズムは、運用システムへの展開や高価な高忠実度シミュレーションによるトレーニングには実用的ではない。 低忠実度シミュレータは、ゼロショット転送には大きすぎるとしても、RLトレーニングに有用なデータを提供することができる。 ターゲット環境から少量のデータを混合する多要素ポリシーロボティクス(Gs)を提案する。
  論文  参考訳（メタデータ） (2025-03-07T18:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。