Fugu-MT 論文翻訳(概要): Task diversity produces systematic transfer but inhibits continual reinforcement learning

論文の概要: Task diversity produces systematic transfer but inhibits continual reinforcement learning

arxiv url: http://arxiv.org/abs/2606.00880v1
Date: Sat, 30 May 2026 20:31:25 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.898392
Title: Task diversity produces systematic transfer but inhibits continual reinforcement learning
Title（参考訳）: タスク多様性は系統的な伝達を引き起こすが、継続的強化学習を抑制する
Abstract要約: 本研究では,タスクの多様性がエージェントの分散シフトを通じて学習を継続する能力を向上させるかどうかを検討する。タスクの多様性因子を3つの独立制御可能な軸に分解する連続RLドメインであるBanyanを導入する。シフトの数が増えるにつれて、この局所移動はそれ自体が持続的な学習をもたらすわけではない。
参考スコア（独自算出の注目度）: 26.737932916319462
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual reinforcement learning aims to produce agents that learn not only to improve at their current tasks but also to adapt as task distributions change. Training an agent on many diverse tasks can induce zero-shot generalization, but previous work generally evaluates this generalization after training -- with frozen weights. Whether task diversity also improves an agent's ability to continue learning across distribution shifts remains unclear. We introduce Banyan, a GPU-accelerated continual RL domain in which task diversity factors into three independently controllable axes: the map layouts an agent must navigate, the objects it must interact with, and the hierarchical structures of sub-goal dependencies. Across individual distribution shifts, increasing diversity along each axis causes agents to begin training on the new tasks near the performance attained on the previous one, even when the shift changes the structure of the optimal policy. However, as the number of shifts increases, this local transfer does not by itself yield sustained continual learning: longer-horizon tasks plateau, and earlier task distributions are forgotten after later training. Banyan is a benchmark for studying when controlled task diversity produces transferable learning, when that transfer persists, and where it falls short of proper continual learning.
Abstract（参考訳）: 継続的な強化学習は、現在のタスクの改善だけでなく、タスク分布の変化に応じて適応するエージェントを作成することを目的としている。多くの多様なタスクにおけるエージェントのトレーニングはゼロショットの一般化を誘導することができるが、以前の研究は、トレーニング後のこの一般化を凍結重量で一般的に評価している。タスクの多様性がエージェントの分散的学習を継続する能力も改善するかどうかは不明だ。タスクの多様性因子を,エージェントがナビゲートしなければならないマップレイアウト,対話が必要なオブジェクト,サブゴール依存関係の階層構造という,3つの独立的に制御可能な軸に分割する,GPUアクセラレーションによる連続RLドメインであるBanyanを紹介した。個々の分布シフト全体において、各軸に沿った多様性の増大は、シフトが最適ポリシーの構造を変化させた場合でも、エージェントが前の軸で達成されたパフォーマンスに近い新しいタスクのトレーニングを開始する原因となる。しかし、シフトの数が増えるにつれて、この局所移動はそれ自体が持続的な学習をもたらすわけではない。 Banyanは、制御されたタスクの多様性がトランスファー可能な学習をいつ生成するか、その移行がいつ継続するか、そしてそれが適切な継続的学習に欠落するかを研究するためのベンチマークである。

関連論文リスト

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution [39.74364990208475]
大規模な言語モデルエージェントは、しばしば再利用可能なソリューションパターンを共有する、関連するが独立したタスクに遭遇する。タスク間のスキル学習のための統合強化学習フレームワークであるSkillRiseを紹介する。
論文参考訳（メタデータ） (2026-07-29T11:26:33Z)
Continual Deep Reinforcement Learning with Task-Agnostic Policy Distillation [0.0]
TAPD(Task-Agnostic Policy Distillation)フレームワークが導入されている。本稿では,継続学習の問題に対処する。タスク非依存の蒸留知識を利用することで、下流タスクをより効率的に解決することができる。
論文参考訳（メタデータ） (2024-11-25T16:18:39Z)
Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
論文参考訳（メタデータ） (2024-09-04T08:21:47Z)
Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees [6.008132390640294]
タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
論文参考訳（メタデータ） (2023-10-24T16:21:41Z)
ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
論文参考訳（メタデータ） (2023-01-30T02:27:02Z)
Learning Progress Driven Multi-Agent Curriculum [16.228784877899976]
エージェントの数は、マルチエージェント強化学習(MARL)タスクの難易度を制御するための効果的なカリキュラム変数となる。 MARLに既存の報酬に基づく自動カリキュラム学習手法を適用しながら、2つの潜在的な欠陥を同定する。本稿では,TDエラーに基づく*ラーニングプログレス*尺度を用いてカリキュラムを制御し,初期コンテキスト分布から最終タスク特定項目へカリキュラムを進行させることによってカリキュラムを制御することを提案する。
論文参考訳（メタデータ） (2022-05-20T08:16:30Z)
Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。実験の結果,提案手法は従来よりも30%向上していることがわかった。
論文参考訳（メタデータ） (2022-05-16T14:30:11Z)
LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
論文参考訳（メタデータ） (2022-05-05T10:46:16Z)
Measuring and Harnessing Transference in Multi-Task Learning [58.48659733262734]
マルチタスク学習は、あるタスクによって学習された情報を活用して、他のタスクのトレーニングに役立てることができる。情報伝達や伝達のダイナミクスを、トレーニングを通して分析する。
論文参考訳（メタデータ） (2020-10-29T08:25:43Z)
Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文参考訳（メタデータ） (2020-09-24T15:40:55Z)
Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。