論文の概要: Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints
- arxiv url: http://arxiv.org/abs/2607.17326v1
- Date: Sun, 19 Jul 2026 16:29:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.428324
- Title: Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints
- Title（参考訳）: 実践的移動制約下における強化学習アルゴリズムの適合性の再考
- Abstract要約: 強化学習実践者には2つの洞察を提供する。
第一に、異なるアルゴリズムのサンプル効率を比較することは、転送指向の設定において不十分な基準であることが多い。
第二に、ドメインのランダム化は、さまざまな種類のアルゴリズムが堅牢なポリシーを学ぶのに役立つ。
- 参考スコア（独自算出の注目度）: 9.42374503870091
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transfer-oriented reinforcement learning requires evaluating algorithms along dimensions that go beyond standard sample efficiency. We focus on two dimensions: practical efficiency, which asks whether conclusions about algorithm suitability change under wall-clock rather than interaction-based budgets, and robustness under dynamics mismatch, which asks how different learning paradigms respond to variability in the training distribution induced by domain randomization. We provide two insights to reinforcement-learning practitioners. First, comparing the sample efficiency of different algorithms is often an insufficient criterion in transfer-oriented settings. The wall-clock time required to train a decent policy is an important consideration for practitioners, and we find that the sample-inefficient PPO algorithm can produce a performant policy faster than relatively more sample-efficient algorithms such as SAC and TD-MPC2, validating the common understanding of massively parallel training paradigms. Second, domain randomization can help different kinds of algorithms learn robust policies. In particular, although PPO, SAC, and TD-MPC2 represent different RL paradigms - on-policy, off-policy, and model-based learning and planning, respectively - we find that domain randomization affects all three algorithms in a similar way. To the best of our knowledge, this is the first controlled comparison of the effect of domain-randomization coverage on PPO, SAC, and TD-MPC2 under the same transfer protocol. Taken together, these two insights highlight the importance of evaluating RL algorithms not only by sample efficiency, but also by practical considerations such as training time and the algorithms' ability to produce usable policies.
- Abstract（参考訳）: 転送指向強化学習は、標準的なサンプル効率を超える次元に沿ってアルゴリズムを評価する必要がある。
実効効率は、相互作用に基づく予算ではなく、ウォールクロックのアルゴリズム適合性に関する結論が変化するかどうかを問うものであり、動的ミスマッチの頑健さは、異なる学習パラダイムがドメインランダム化によって引き起こされる訓練分布の変動にどう反応するかを問うものである。
強化学習実践者には2つの洞察を提供する。
第一に、異なるアルゴリズムのサンプル効率を比較することは、転送指向の設定において不十分な基準であることが多い。
適切なポリシをトレーニングするのに要するウォールクロック時間は,実践者にとって重要な考慮事項であり,サンプル非効率なPPOアルゴリズムは,SACやTD-MPC2といった比較的高効率なアルゴリズムよりも高速に性能ポリシーを作成でき,超並列なトレーニングパラダイムの共通理解を検証できる。
第二に、ドメインのランダム化は、さまざまな種類のアルゴリズムが堅牢なポリシーを学ぶのに役立つ。
特に、PPO、SAC、TD-MPC2はそれぞれ、政治、非政治、モデルに基づく学習と計画という異なるRLパラダイムを表現しているが、ドメインのランダム化は3つのアルゴリズム全てに同様の影響を与える。
我々の知る限りでは、PPO、SAC、TD-MPC2に対するドメインランダム化のカバレッジを同じ転送プロトコルで比較するのはこれが初めてである。
これら2つの洞察は、サンプル効率だけでなく、トレーニング時間や使用可能なポリシーを作成するアルゴリズムの能力といった実践的な考察によって、RLアルゴリズムを評価することの重要性を強調している。
関連論文リスト
- Breaking the Computational Barrier: Provably Efficient Actor-Critic for Low-Rank MDPs [53.412166189410904]
低ランクマルコフ決定過程(MDPs)の下で広く採用されているRLオーラクルの階層を確立するために,教師付き学習を計算プロキシとして利用する。
本研究の目的は,政策評価にのみ依存する新しい楽観的アクター批判アルゴリズムを提案することである。
提案アルゴリズムは,従来の計算コストの高い計画や最適化オーラクルを回避しつつ,既存のサンプル複雑度保証よりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-02T04:46:54Z) - Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR [22.463270191334434]
ソフトアクター・クリティック(Soft actor-critic、SAC)は、最大エントロピー強化学習のための一般的なアルゴリズムである。
本研究では、フローベースモデルを用いてポリシーをパラメータ化するSACアルゴリズムの変種を提案する。
オンラインのフローマッチングの変種は、ユーザが特定したサンプリング分布からのサンプルのみを使用したポリシー更新を可能にする。
論文 参考訳（メタデータ） (2025-12-29T21:23:52Z) - What Matters for Batch Online Reinforcement Learning in Robotics? [65.06558240091758]
政策改善のために、自律的に収集された大量のデータから学習できることは、真にスケーラブルなロボット学習を可能にするという約束を支えている。
これまで、オンラインRL問題に模倣学習とフィルタ模倣学習を適用してきた。
これらの軸が自律的なデータ量でパフォーマンスとスケーリングにどのように影響するかを分析します。
論文 参考訳（メタデータ） (2025-05-12T21:24:22Z) - An advantage based policy transfer algorithm for reinforcement learning with measures of transferability [5.926203312586109]
強化学習(Reinforcement Learning, RL)は, 複雑・高次元環境における逐次的意思決定を可能にする。
本稿では、固定されたドメイン環境に対する非政治アドバンテージベースのポリシー転送アルゴリズムであるAPT-RLを提案する。
論文 参考訳（メタデータ） (2023-11-12T04:25:53Z) - Statistically Efficient Variance Reduction with Double Policy Estimation
for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。
D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
論文 参考訳（メタデータ） (2023-08-28T20:46:07Z) - Distillation Policy Optimization [5.439020425819001]
本研究では,評価と制御の両面において2つのデータソースを調和させるアクタ批判学習フレームワークを提案する。
このフレームワークには、統一利便推定器(UAE)と残留基線を含む分散還元機構が組み込まれている。
以上の結果から,オンラインアルゴリズムのサンプル効率は大幅に向上し,非政治的アプローチとのギャップを効果的に埋めることができた。
論文 参考訳（メタデータ） (2023-02-01T15:59:57Z) - Generalized Policy Improvement Algorithms with Theoretically Supported Sample Reuse [15.134707391442236]
我々は,データ駆動型学習ベース制御のためのモデルフリー深層強化学習アルゴリズムを新たに開発した。
当社の一般政策改善アルゴリズムは,オンライン手法の政策改善保証とサンプル再利用の効率化を両立させる。
論文 参考訳（メタデータ） (2022-06-28T02:56:12Z) - Deterministic and Discriminative Imitation (D2-Imitation): Revisiting
Adversarial Imitation for Sample Efficiency [61.03922379081648]
本稿では,敵対的トレーニングやmin-max最適化を必要としない非政治的サンプル効率の手法を提案する。
実験の結果, D2-Imitation はサンプル効率の向上に有効であることが示唆された。
論文 参考訳（メタデータ） (2021-12-11T19:36:19Z) - A Subgame Perfect Equilibrium Reinforcement Learning Approach to
Time-inconsistent Problems [4.314956204483074]
我々は,時間一貫性(TIC)問題に対するサブゲーム完全均衡強化学習フレームワークを構築した。
我々は,SPERLを解き,両課題に対処する,BPI(backward Policy iteration)と呼ばれるアルゴリズムの新たなクラスを提案する。
トレーニングフレームワークとしてのBPIの実用性を実証するため,標準的なRLシミュレーション手法を適用し,2つのBPIベースのトレーニングアルゴリズムを導出する。
論文 参考訳（メタデータ） (2021-10-27T09:21:35Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳（メタデータ） (2021-04-09T14:50:59Z) - Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。
オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文 参考訳（メタデータ） (2020-09-14T16:22:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。