Fugu-MT 論文翻訳(概要): Towards Large-Scale In-Context Reinforcement Learning by Meta-Training in Randomized Worlds

論文の概要: Towards Large-Scale In-Context Reinforcement Learning by Meta-Training in Randomized Worlds

arxiv url: http://arxiv.org/abs/2502.02869v2
Date: Tue, 01 Jul 2025 03:07:05 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-02 15:54:40.012368
Title: Towards Large-Scale In-Context Reinforcement Learning by Meta-Training in Randomized Worlds
Title（参考訳）: ランダムな世界におけるメタトレーニングによる大規模インコンテキスト強化学習に向けて
Authors: Fan Wang, Pengtao Shao, Yiming Zhang, Bo Yu, Shaoshan Liu, Ning Ding, Yang Cao, Yu Kang, Haifeng Wang,
Abstract要約: In-Context Reinforcement Learning (ICRL)により、エージェントは対話的な体験から自動的に、そしてオンザフライで学習することができる。我々はAnyMDPという手続き的に生成されたマルコフ決定プロセスを提案する。この結果から,AnyMDPタスクの大規模化により,提案モデルがトレーニングセットでは考慮されなかったタスクに一般化できることが示唆された。
参考スコア（独自算出の注目度）: 35.652208216209985
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In-Context Reinforcement Learning (ICRL) enables agents to learn automatically and on-the-fly from their interactive experiences. However, a major challenge in scaling up ICRL is the lack of scalable task collections. To address this, we propose the procedurally generated tabular Markov Decision Processes, named AnyMDP. Through a carefully designed randomization process, AnyMDP is capable of generating high-quality tasks on a large scale while maintaining relatively low structural biases. To facilitate efficient meta-training at scale, we further introduce step-wise supervision and induce prior information in the ICRL framework.Our results demonstrate that, with a sufficiently large scale of AnyMDP tasks, the proposed model can generalize to tasks that were not considered in the training set. The scalable task set provided by AnyMDP also enables a more thorough empirical investigation of the relationship between data distribution and ICRL performance. We further show that the generalization of ICRL potentially comes at the cost of increased task diversity and longer adaptation periods. This finding carries critical implications for scaling robust ICRL capabilities, highlighting the necessity of diverse and extensive task design, and prioritizing asymptotic performance over few-shot adaptation.
Abstract（参考訳）: In-Context Reinforcement Learning (ICRL)により、エージェントは対話的な体験から自動的に、そしてオンザフライで学習することができる。しかし、ICRLのスケールアップにおける大きな課題は、スケーラブルなタスクコレクションの欠如である。これを解決するために,AnyMDP という,手続き的に生成した表形式のマルコフ決定プロセスを提案する。慎重に設計されたランダム化プロセスを通じて、AnyMDPは比較的低い構造バイアスを維持しながら、大規模に高品質なタスクを生成することができる。 ICRLフレームワークでは,大規模なメタトレーニングを効果的に行うため,ステップワイド・インスペクションを導入し,事前情報をインジェクションすることで,AnyMDPタスクを十分に大規模に行うことで,提案モデルがトレーニングセットで考慮されていないタスクに一般化できることが実証された。 AnyMDPが提供するスケーラブルなタスクは、データ分散とICRL性能の関係をより徹底的に調査することを可能にする。さらに, ICRLの一般化は, タスクの多様性の向上や適応期間の延長といったコストが伴う可能性が示唆された。この発見は、ロバストICRL能力を拡張し、多種多様なタスク設計の必要性を強調し、数ショットの適応よりも漸近的なパフォーマンスを優先する上で、重要な意味を持つ。

関連論文リスト

Vintix: Action Model via In-Context Reinforcement Learning [72.65703565352769]
In-context reinforcement learning を通じて振る舞いを学習できる固定されたクロスドメインモデルを導入することで ICRL のスケールアップに向けた第一歩を提示する。 ICRLを促進するために設計されたフレームワークであるアルゴリズム蒸留は、多目的な作用モデルを構築するために、専門家蒸留に代わる魅力的な、競争力のある代替手段を提供することを示した。
論文参考訳（メタデータ） (2025-01-31T18:57:08Z)
Q-SFT: Q-Learning for Language Models via Supervised Fine-Tuning [62.984693936073974]
価値に基づく強化学習は、幅広いマルチターン問題に対する効果的なポリシーを学ぶことができる。現在の値ベースのRL法は、特に大規模な言語モデルの設定にスケールすることが困難であることが証明されている。本稿では,これらの欠点に対処する新しいオフラインRLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-11-07T21:36:52Z)
Benchmarking General-Purpose In-Context Learning [19.40952728849431]
In-context Learning (ICL) は、生成モデルに新しいタスクを効果的に、かつ効率的にオンザフライで対処する権限を与える。本稿では,より広い範囲の課題に対処するためのICLの拡張について検討する。 GPICLの機能のトレーニングと評価に特化して開発されたベンチマークを2つ導入する。
論文参考訳（メタデータ） (2024-05-27T14:50:42Z)
M2CURL: Sample-Efficient Multimodal Reinforcement Learning via Self-Supervised Representation Learning for Robotic Manipulation [0.7564784873669823]
マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。 Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-01-30T14:09:35Z)
Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文参考訳（メタデータ） (2023-06-06T02:24:41Z)
Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
論文参考訳（メタデータ） (2022-07-29T14:52:47Z)
Jump-Start Reinforcement Learning [68.82380421479675]
本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
論文参考訳（メタデータ） (2022-04-05T17:25:22Z)
REIN-2: Giving Birth to Prepared Reinforcement Learning Agents Using Reinforcement Learning Agents [0.0]
本稿では,課題学習の目的を課題(あるいは課題の集合)の目的にシフトさせるメタラーニング手法を提案する。我々のモデルであるREIN-2は、RLフレームワーク内で構成されたメタ学習スキームであり、その目的は、他のRLエージェントの作り方を学ぶメタRLエージェントを開発することである。従来の最先端のDeep RLアルゴリズムと比較して、実験結果は、人気のあるOpenAI Gym環境において、我々のモデルの顕著な性能を示している。
論文参考訳（メタデータ） (2021-10-11T10:13:49Z)
Variational Empowerment as Representation Learning for Goal-Based Reinforcement Learning [114.07623388322048]
本稿では,標準目標条件付きRL (GCRL) を目的変動エンパワーメントによってカプセル化する方法について論じる。我々の研究は、ゴールベースRLで表現学習技術を評価し、分析し、開発する新しい基礎を築いた。
論文参考訳（メタデータ） (2021-06-02T18:12:26Z)
FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization [10.243908145832394]
本稿では, オフラインメタ強化学習(OMRL)問題について検討する。これは, 強化学習(RL)アルゴリズムが未知のタスクに迅速に適応できるようにするパラダイムである。この問題はまだ完全には理解されていないが、2つの大きな課題に対処する必要がある。我々は、いくつかの単純な設計選択が、最近のアプローチよりも大幅に改善できることを示す分析と洞察を提供する。
論文参考訳（メタデータ） (2020-10-02T17:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。