論文の概要: ReLIC: A Recipe for 64k Steps of In-Context Reinforcement Learning for Embodied AI

• arxiv url: http://arxiv.org/abs/2410.02751v1
• Date: Thu, 3 Oct 2024 17:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:03:22.928071
• Title: ReLIC: A Recipe for 64k Steps of In-Context Reinforcement Learning for Embodied AI
• Title（参考訳）: Relic: 身体的AIのためのインテクスト強化学習のための64kステップのレシピ
• Authors: Ahmad Elawady, Gunjan Chhablani, Ram Ramrakhya, Karmesh Yadav, Dhruv Batra, Zsolt Kira, Andrew Szot,
• Abstract要約: エンボディエージェントのためのテキスト内強化学習のための新しい手法であるReLICを提案する。 Relicでは、エージェントは64,000ステップのコンテキスト内エクスペリエンスを使用して、新しい環境に適応することができる。 Relicは、専門家によるデモンストレーションでトレーニングを受けなくても、数発の模倣学習が可能であることに気付きました。
• 参考スコア（独自算出の注目度）: 44.77897322913095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent embodied agents need to quickly adapt to new scenarios by integrating long histories of experience into decision-making. For instance, a robot in an unfamiliar house initially wouldn't know the locations of objects needed for tasks and might perform inefficiently. However, as it gathers more experience, it should learn the layout of its environment and remember where objects are, allowing it to complete new tasks more efficiently. To enable such rapid adaptation to new tasks, we present ReLIC, a new approach for in-context reinforcement learning (RL) for embodied agents. With ReLIC, agents are capable of adapting to new environments using 64,000 steps of in-context experience with full attention while being trained through self-generated experience via RL. We achieve this by proposing a novel policy update scheme for on-policy RL called "partial updates'' as well as a Sink-KV mechanism that enables effective utilization of a long observation history for embodied agents. Our method outperforms a variety of meta-RL baselines in adapting to unseen houses in an embodied multi-object navigation task. In addition, we find that ReLIC is capable of few-shot imitation learning despite never being trained with expert demonstrations. We also provide a comprehensive analysis of ReLIC, highlighting that the combination of large-scale RL training, the proposed partial updates scheme, and the Sink-KV are essential for effective in-context learning. The code for ReLIC and all our experiments is at https://github.com/aielawady/relic
• Abstract（参考訳）: インテリジェントな実施エージェントは、長い経験を意思決定に組み込むことで、新しいシナリオに迅速に適応する必要がある。 例えば、馴染みのない家のロボットは、最初はタスクに必要なオブジェクトの位置を知りませんし、非効率に動作します。 しかし、より経験を積むにつれて、環境のレイアウトを学習し、オブジェクトがどこにあるかを記憶し、新しいタスクをより効率的に完了させる必要がある。 本稿では,新しいタスクへの迅速な適応を実現するために,エンボディエージェントのためのテキスト内強化学習(RL)の新しいアプローチであるReLICを提案する。 Relicでは、エージェントは64,000ステップのコンテキスト内体験を使用して新しい環境に適応し、RLを介して自己生成体験を通じてトレーニングされる。 そこで我々は,「部分的更新」と呼ばれる新たな政策更新スキームと,長期観察履歴の有効活用を可能にするSink-KV機構を提案する。 本手法は,マルチオブジェクトナビゲーションタスクにおいて,目に見えない住宅に適応する上で,様々なメタRLベースラインよりも優れる。 さらに、Relicは専門家によるデモンストレーションで訓練を受けなくても、数発の模倣学習が可能であることもわかりました。 また,大規模なRL学習と部分的更新スキーム,Sink-KVの組み合わせが,文脈内学習に不可欠であることを強調して,Relicの総合的な分析を行った。 Relicのコードと実験はすべてhttps://github.com/aielawady/relicにある。

関連論文リスト

• Vision-Language Navigation with Continual Learning [10.850410419782424]
  視覚言語ナビゲーション(VLN)は、組み込みインテリジェンスにおいて重要なドメインである。 本稿では,この課題に対処するために,ビジョンランゲージナビゲーションと連続学習パラダイムを提案する。 このパラダイムでは、エージェントは、以前獲得した知識を維持しながら、新たな環境を漸進的に学習する。
  論文  参考訳（メタデータ） (2024-09-04T09:28:48Z)
• Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation [17.165083095799712]
  本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。 そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-20T03:55:09Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• Renaissance Robot: Optimal Transport Policy Fusion for Learning Diverse Skills [28.39150937658635]
  最適輸送理論を用いた政策融合のためのポストホック手法を提案する。 これにより、新しいタスクを学習するためのニューラルネットワークポリシの初期化が改善される。 以上の結果から,専門知識を「ルネッサンスエージェント」に統合し,新たなスキルの学習を迅速に行うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-03T08:15:41Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Hindsight Task Relabelling: Experience Replay for Sparse Reward Meta-RL [91.26538493552817]
  本稿では,メタRLの学習経験をリラベルするメタRLのための後向きレバーベリングの定式化について述べる。 提案手法の有効性を,難易度の高い目標達成環境のスイートで実証する。
  論文  参考訳（メタデータ） (2021-12-02T00:51:17Z)
• Continuous Coordination As a Realistic Scenario for Lifelong Learning [6.044372319762058]
  ゼロショット設定と少数ショット設定の両方をサポートするマルチエージェント生涯学習テストベッドを導入する。 最近のMARL法、および制限メモリおよび計算における最新のLLLアルゴリズムのベンチマークを評価します。 我々は経験的に、我々の設定で訓練されたエージェントは、以前の作業による追加の仮定なしに、未発見のエージェントとうまく協調できることを示します。
  論文  参考訳（メタデータ） (2021-03-04T18:44:03Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning [0.0]
  本稿では,事前訓練されたタスク非依存言語モデルによって,目標条件付きRLエージェントをより効率的にする方法について述べる。 私たちは、異なる関連するタスク間の伝達学習を容易にすることで、これを実現します。
  論文  参考訳（メタデータ） (2020-07-10T06:42:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。