論文の概要: Continual Task Learning through Adaptive Policy Self-Composition

• arxiv url: http://arxiv.org/abs/2411.11364v1
• Date: Mon, 18 Nov 2024 08:20:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:35:06.145255
• Title: Continual Task Learning through Adaptive Policy Self-Composition
• Title（参考訳）: 適応的政策自己構成による継続的タスク学習
• Authors: Shengchao Hu, Yuhang Zhou, Ziqing Fan, Jifeng Hu, Li Shen, Ya Zhang, Dacheng Tao,
• Abstract要約: CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
• 参考スコア（独自算出の注目度）: 54.95680427960524
• License:
• Abstract: Training a generalizable agent to continually learn a sequence of tasks from offline trajectories is a natural requirement for long-lived agents, yet remains a significant challenge for current offline reinforcement learning (RL) algorithms. Specifically, an agent must be able to rapidly adapt to new tasks using newly collected trajectories (plasticity), while retaining knowledge from previously learned tasks (stability). However, systematic analyses of this setting are scarce, and it remains unclear whether conventional continual learning (CL) methods are effective in continual offline RL (CORL) scenarios. In this study, we develop the Offline Continual World benchmark and demonstrate that traditional CL methods struggle with catastrophic forgetting, primarily due to the unique distribution shifts inherent to CORL scenarios. To address this challenge, we introduce CompoFormer, a structure-based continual transformer model that adaptively composes previous policies via a meta-policy network. Upon encountering a new task, CompoFormer leverages semantic correlations to selectively integrate relevant prior policies alongside newly trained parameters, thereby enhancing knowledge sharing and accelerating the learning process. Our experiments reveal that CompoFormer outperforms conventional CL methods, particularly in longer task sequences, showcasing a promising balance between plasticity and stability.
• Abstract（参考訳）: オフライン軌道からタスクの連続を継続的に学習するために一般化可能なエージェントを訓練することは、長期間のエージェントにとって自然な要件であるが、現在のオフライン強化学習(RL)アルゴリズムでは依然として重要な課題である。 具体的には、エージェントは、新しく収集された軌跡(塑性)を使用して新しいタスクに迅速に適応できなければならない。 しかし、この設定の体系的分析は乏しく、従来の連続学習法が連続オフラインRL(CORL)のシナリオに有効であるかどうかは不明である。 本研究では、オフライン連続世界ベンチマークを開発し、従来のCL手法が、主にCORLシナリオ固有の分布シフトのために、破滅的な忘れに苦しむことを実証する。 この課題に対処するために,メタポリシックネットワークを介して従来のポリシーを適応的に構成する構造ベースの連続トランスフォーマーモデルであるCompoFormerを紹介した。 新しいタスクに遭遇すると、CompoFormerは意味的相関を利用して、新しく訓練されたパラメータと関連する事前ポリシーを選択的に統合し、知識共有を強化し、学習プロセスを加速する。 実験の結果,CompoFormerは従来のCL法,特に長いタスクシーケンスよりも優れており,可塑性と安定性の有望なバランスを示すことがわかった。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
  現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。 本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。 本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:41:36Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Scalable Adversarial Online Continual Learning [11.6720677621333]
  本稿では,スケーラブルな逆連続学習法(SCALE)を提案する。 共通の特徴をタスク固有の特徴に変換するパラメータジェネレータと、共通の特徴を誘導する対戦ゲームにおける1つの識別器を前進させる。 これは、精度と実行時間の両方で顕著なマージンで顕著なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-09-04T08:05:40Z)
• Dynamics-Adaptive Continual Reinforcement Learning via Progressive Contextualization [29.61829620717385]
  動的環境におけるCRL(Continuous reinforcement Learning)の鍵となる課題は、環境が生涯にわたって変化するにつれて、RLエージェントの挙動を迅速に適応させることである。 DaCoRLは、進行的文脈化を用いた文脈条件付きポリシーを学習する。 DaCoRLは、安定性、全体的な性能、一般化能力の観点から、既存の方法よりも一貫した優位性を特徴としている。
  論文  参考訳（メタデータ） (2022-09-01T10:26:58Z)
• Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes [25.513074215377696]
  本稿では,連続的なオンラインモデルに基づく強化学習手法を提案する。 未知のタスク境界を持つタスク非依存の問題を解決するためには、事前トレーニングを必要としない。 実験では,本手法は非定常タスクにおける代替手法よりも優れている。
  論文  参考訳（メタデータ） (2020-06-19T23:52:45Z)
• Conservative Q-Learning for Offline Reinforcement Learning [106.05582605650932]
  CQLは既存のオフラインRLメソッドよりも大幅に優れており、多くの場合、ファイナルリターンの2～5倍高いポリシを学習しています。 理論的には、CQLは現在のポリシーの価値の低いバウンダリを生成し、理論的改善保証を伴う政策学習手順に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:53:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。