論文の概要: Catastrophic Forgetting in Continual Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.08673v1
- Date: Sun, 09 Aug 2026 12:39:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.912554
- Title: Catastrophic Forgetting in Continual Reinforcement Learning
- Title（参考訳）: 継続的強化学習におけるカタストロフィック・フォーミング
- Abstract要約: 破滅的な忘れは継続的な学習にとって重要な障害である。
本研究の目的は,新しいタスクの類似性が前のタスクのパフォーマンスにどの程度影響するかを理解することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work explores the relationship between task similarity and catastrophic forgetting in reinforcement learning. Catastrophic forgetting, the phenomenon in machine learning of losing the ability to effectively perform on previous tasks, is a significant impediment to continual learning. This study aims to understand the extent to which the similarity of a new task influences the performance on the previous task. Interpretable reinforcement learning, specifically Q-learning, is employed on graph-based tasks with the objective of minimising the number of steps to reach a goal. The study investigates the performance on a previously learned task after training on a new task, for tasks of varying relative levels of complexity. The experimental results reveal a complex dynamic between task similarity and forgetting, with significant fluctuations in forgetting severity observed across degrees of task similarities and task complexities, and are suggestive of an interdependence of forgetting on the similarity and complexity of tasks. The observations were accompanied by observations of high degrees of variability in forgetting and an uneven distribution of task similarity measures. The relationship between these variables remains unclear and no evidence of statistical significance that task similarity has an effect, independently, on forgetting is found in continual reinforcement learning. Further research is warranted to gain a comprehensive understanding of the potential interplay between task similarity and catastrophic forgetting.
- Abstract（参考訳）: 本研究は、強化学習におけるタスク類似性と破滅的忘れとの関係について考察する。
機械学習において、従来のタスクを効果的に実行する能力を失うという現象であるカタストロフィックな忘れは、継続的な学習に重大な障害となる。
本研究の目的は,新しいタスクの類似性が前のタスクのパフォーマンスにどの程度影響するかを理解することである。
解釈可能な強化学習、特にQ-ラーニングは、目標を達成するためのステップの数を最小化することを目的として、グラフベースのタスクに使用される。
本研究は,新しいタスクの学習後に学習したタスクのパフォーマンスを,相対的な複雑性のレベルが異なるタスクに対して調査する。
実験結果から,タスク類似度とタスク類似度との間には,タスク類似度とタスク複雑性の程度で観察される重症度を忘れることのかなりの変動がみられ,タスク類似度と複雑性を忘れることの相互依存性が示唆された。
観察には, 忘れる際の変動度の高い観測と, タスク類似度尺度の不均一分布が伴っていた。
これらの変数間の関係はいまだ不明であり、連続的な強化学習において、タスクの類似性が、個別に、忘れることに影響を及ぼすという統計的意義の証拠はない。
さらなる研究は、タスク類似性と破滅的な忘れ物との間の潜在的な相互作用について、包括的な理解を得ることが保証されている。
関連論文リスト
- The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。
特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
論文 参考訳（メタデータ） (2025-06-20T10:12:38Z) - Disentangling and Mitigating the Impact of Task Similarity for Continual Learning [1.3597551064547502]
部分的に類似したタスクの継続的な学習は、人工知能ニューラルネットワークの課題となる。
高い入力特徴類似性と低い読み出し類似性は、知識伝達と保持の両方において破滅的である。
フィッシャー情報量に基づく重み正規化は,タスクの類似性にかかわらず,保持率を著しく向上させる。
論文 参考訳（メタデータ） (2024-05-30T16:40:07Z) - Exploring Correlations of Self-Supervised Tasks for Graphs [6.977921096191354]
本稿では,タスク相関に基づくグラフ自己教師型学習を新たに理解することを目的とする。
我々は,ある特定のタスクによって訓練された他のタスクにおける表現の性能を評価し,タスク相関を定量化するための相関値を定義した。
本稿では,タスク相関を説明するグラフタスク相関モデリング(GraphTCM)を提案する。
論文 参考訳（メタデータ） (2024-05-07T12:02:23Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。
自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
論文 参考訳（メタデータ） (2022-10-13T17:59:16Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳（メタデータ） (2022-09-30T19:12:58Z) - Saliency-Regularized Deep Multi-Task Learning [7.3810864598379755]
マルチタスク学習は、知識を共有するために複数の学習タスクを強制し、一般化能力を改善する。
現代のディープマルチタスク学習は、潜在機能とタスク共有を共同で学習することができるが、それらはタスク関係において不明瞭である。
本稿では,潜在的特徴と明示的な課題関係を共同で学習するマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-03T20:26:44Z) - The Effect of Task Ordering in Continual Learning [12.571389210876315]
再注文タスクが破滅的忘れの量に大きく影響していることが示される。
本研究では,タスクオーダリングの効果を利用して連続的な学習性能を変化させることを示す。
論文 参考訳（メタデータ） (2022-05-26T12:56:15Z) - Continual Learning in the Teacher-Student Setup: Impact of Task
Similarity [5.1135133995376085]
教師-学生設定における2層ネットワークにおける破滅的忘れについて検討する。
タスクが類似した機能に依存する場合、中間タスクの類似性が最大の忘れ物となる。
両者の類似性、初期転送/鍛造率、最大転送/鍛造率、長期転送/鍛造率の複雑な相互作用を見出した。
論文 参考訳（メタデータ） (2021-07-09T12:30:39Z) - Seeing Differently, Acting Similarly: Imitation Learning with
Heterogeneous Observations [126.78199124026398]
多くの実世界の模倣学習タスクでは、デモレーターと学習者は異なるが完全な観察空間で行動しなければならない。
本研究では、上記の学習問題を異種観察学習(HOIL)としてモデル化する。
本稿では,重要度重み付け,拒否学習,アクティブクエリに基づくIWREアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-17T05:44:04Z) - Robust Learning Through Cross-Task Consistency [92.42534246652062]
クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。
クロスタスク一貫性による学習は,より正確な予測と,アウト・オブ・ディストリビューション・インプットの一般化につながることを観察する。
論文 参考訳（メタデータ） (2020-06-07T09:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。