論文の概要: Good Actions Succeed, Bad Actions Generalize: A Case Study on Why RL Generalizes Better

• arxiv url: http://arxiv.org/abs/2503.15693v1
• Date: Wed, 19 Mar 2025 21:03:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 19:01:14.136836
• Title: Good Actions Succeed, Bad Actions Generalize: A Case Study on Why RL Generalizes Better
• Title（参考訳）: 良い行動、悪い行動が一般化する:なぜRLが一般化するのかについての事例研究
• Authors: Meng Song,
• Abstract要約: 監視学習(SL)と強化学習(RL)は、複雑なタスクのための汎用エージェントの訓練に広く用いられている。 本稿ではゼロショット一般化の観点からSLとRLを直接比較する。
• 参考スコア（独自算出の注目度）: 0.3021678014343889
• License:
• Abstract: Supervised learning (SL) and reinforcement learning (RL) are both widely used to train general-purpose agents for complex tasks, yet their generalization capabilities and underlying mechanisms are not yet fully understood. In this paper, we provide a direct comparison between SL and RL in terms of zero-shot generalization. Using the Habitat visual navigation task as a testbed, we evaluate Proximal Policy Optimization (PPO) and Behavior Cloning (BC) agents across two levels of generalization: state-goal pair generalization within seen environments and generalization to unseen environments. Our experiments show that PPO consistently outperforms BC across both zero-shot settings and performance metrics-success rate and SPL. Interestingly, even though additional optimal training data enables BC to match PPO's zero-shot performance in SPL, it still falls significantly behind in success rate. We attribute this to a fundamental difference in how models trained by these algorithms generalize: BC-trained models generalize by imitating successful trajectories, whereas TD-based RL-trained models generalize through combinatorial experience stitching-leveraging fragments of past trajectories (mostly failed ones) to construct solutions for new tasks. This allows RL to efficiently find solutions in vast state space and discover novel strategies beyond the scope of human knowledge. Besides providing empirical evidence and understanding, we also propose practical guidelines for improving the generalization capabilities of RL and SL through algorithm design.
• Abstract（参考訳）: 教師付き学習(SL)と強化学習(RL)はどちらも複雑なタスクのための汎用エージェントの訓練に広く用いられているが、その一般化能力と基礎となるメカニズムはまだ完全には理解されていない。 本稿では,ゼロショット一般化の観点から,SLとRLの直接比較を行う。 本研究では,ハビタットの視覚ナビゲーションタスクをテストベッドとして,PPO(Proximal Policy Optimization)とBC(Behavior Cloning)のエージェントの評価を行った。 我々の実験によると、PPOはゼロショット設定とパフォーマンスメトリクスの精度とSPLの両方でBCより一貫して優れています。 興味深いことに、追加の最適なトレーニングデータにより、BCはSPLにおけるPPOのゼロショットのパフォーマンスと一致させることができるが、それでも成功率に大きく遅れている。 BC学習モデルは、成功した軌跡を模倣して一般化するのに対し、TDベースのRL学習モデルは、過去の軌跡(主に失敗した)の縫合平均フラグメントを組み合わせて一般化し、新しいタスクのためのソリューションを構築する。 これにより、RLは広い状態空間における解を効率的に見つけ、人間の知識の範囲を超えて新しい戦略を発見することができる。 経験的エビデンスと理解の他に,アルゴリズム設計によるRLとSLの一般化能力向上のための実践的ガイドラインも提案する。

関連論文リスト

• SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training [127.47044960572659]
  ファウンデーションモデルでは、教師付き微調整(SFT)と強化学習(RL)がポストトレーニング技術として広く使われている。 本稿では,一般化と記憶におけるSFTとRLの違いについて検討する。 RLは、特に結果に基づく報酬で訓練された場合、ルールベースのテキストと視覚的バリエーションの両方で一般化されることを示す。
  論文  参考訳（メタデータ） (2025-01-28T18:59:44Z)
• SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning [0.6668116630521236]
  本稿では,マルチエージェント強化学習(RL)のサンプル効率と一般化の両立を目的とした,SigmaRLというオープンソースの分散フレームワークを紹介する。 本稿では,ほとんどの交通シナリオに適用可能な一般的な特徴に着目し,情報深度観測を設計するための5つの戦略を提案する。 交差点上でこれらの戦略を用いてRLエージェントを訓練し、新しい交差点、オンランプ、ラウンドアバウトを含む、全く見えない交通シナリオの数値実験を通してそれらの一般化を評価する。
  論文  参考訳（メタデータ） (2024-08-14T16:16:51Z)
• IMEX-Reg: Implicit-Explicit Regularization in the Function Space for Continual Learning [17.236861687708096]
  連続学習(CL)は、これまで獲得した知識の破滅的な忘れが原因で、ディープニューラルネットワークの長年にわたる課題の1つである。 低バッファ状態下でのCLにおける経験リハーサルの一般化性能を改善するために,強い帰納バイアスを用いて人間がどのように学習するかに着想を得たIMEX-Regを提案する。
  論文  参考訳（メタデータ） (2024-04-28T12:25:09Z)
• Closing the Gap between TD Learning and Supervised Learning -- A Generalisation Point of View [51.30152184507165]
  いくつかの強化学習(RL)アルゴリズムは、トレーニング中に見たことのないタスクを解決するために、経験の断片を縫い合わせることができる。 このoft-sought特性は、動的プログラミングに基づくRL法と教師あり学習(SL)に基づくRL法とを区別する数少ない方法の1つである。 これらの方法がこの重要な縫合特性を許すかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-20T14:23:25Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
  文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。 我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:01:59Z)
• Improving Zero-shot Generalization in Offline Reinforcement Learning using Generalized Similarity Functions [34.843526573355746]
  強化学習(Reinforcement Learning, RL)エージェントは、複雑な逐次意思決定タスクの解決に広く用いられているが、訓練中に見えないシナリオに一般化することが困難である。 RLにおける一般化のためのオンラインアルゴリズムの性能は、観測間の類似性の評価が不十分なため、オフライン環境では妨げられることを示す。 本稿では, 一般化類似度関数(GSF)と呼ばれる新しい理論的動機付けフレームワークを提案する。このフレームワークは, 競合学習を用いてオフラインのRLエージェントを訓練し, 期待される将来の行動の類似性に基づいて観測を集約する。
  論文  参考訳（メタデータ） (2021-11-29T15:42:54Z)
• Cross-Trajectory Representation Learning for Zero-Shot Generalization in RL [21.550201956884532]
  高次元の観察空間上のいくつかのタスクで学んだポリシーを、トレーニング中に見えない同様のタスクに一般化する。 この課題に対する多くの有望なアプローチは、RLを2つの関数を同時に訓練するプロセスと見なしている。 本稿では,RLエージェント内で動作するクロストラジェクトリ表現学習(CTRL, Cross-Trajectory Representation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T00:43:10Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。