論文の概要: Achieving Upper Bound Accuracy of Joint Training in Continual Learning

• arxiv url: http://arxiv.org/abs/2502.12388v1
• Date: Mon, 17 Feb 2025 23:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:28.603492
• Title: Achieving Upper Bound Accuracy of Joint Training in Continual Learning
• Title（参考訳）: 連続学習における共同訓練における上界精度の達成
• Authors: Saleh Momeni, Bing Liu,
• Abstract要約: 主な課題は破滅的な忘れ(CF)であり、ほとんどの研究はこの問題の緩和に向けられている。 最先端の連続学習アルゴリズムによって達成される精度と、全てのタスクを一緒に訓練することで達成される理想的あるいは上限的精度との間には、大きなギャップが残っている。 本稿は、この成果につながる主要な研究を調査し、直感的にも神経科学的にもアプローチを正当化し、得られた知見について考察する。
• 参考スコア（独自算出の注目度）: 6.888316949368156
• License:
• Abstract: Continual learning has been an active research area in machine learning, focusing on incrementally learning a sequence of tasks. A key challenge is catastrophic forgetting (CF), and most research efforts have been directed toward mitigating this issue. However, a significant gap remains between the accuracy achieved by state-of-the-art continual learning algorithms and the ideal or upper-bound accuracy achieved by training all tasks together jointly. This gap has hindered or even prevented the adoption of continual learning in applications, as accuracy is often of paramount importance. Recently, another challenge, termed inter-task class separation (ICS), was also identified, which spurred a theoretical study into principled approaches for solving continual learning. Further research has shown that by leveraging the theory and the power of large foundation models, it is now possible to achieve upper-bound accuracy, which has been empirically validated using both text and image classification datasets. Continual learning is now ready for real-life applications. This paper surveys the main research leading to this achievement, justifies the approach both intuitively and from neuroscience research, and discusses insights gained.
• Abstract（参考訳）: 継続的学習は機械学習において活発な研究領域であり、一連のタスクを漸進的に学習することに集中している。 主な課題は破滅的な忘れ(CF)であり、ほとんどの研究はこの問題の緩和に向けられている。 しかし、最先端の連続学習アルゴリズムによって達成される精度と、全てのタスクを一緒に訓練することで達成される理想的または上限的精度との間には、大きなギャップが残っている。 このギャップはアプリケーションにおける継続的な学習を妨げたり妨げたりすることさえある。 近年では、ICS(Inter-task class separation)と呼ばれる別の課題も指摘され、継続学習を解くための理論的なアプローチが提唱された。 さらなる研究により、大規模基盤モデルの理論とパワーを活用することで、テキストと画像の分類データセットを用いて実証的に検証された上限精度を達成できることが示されている。 継続的学習は、現実のアプリケーションにも準備が整った。 本稿は、この成果につながる主要な研究を調査し、直感的にも神経科学的にもアプローチを正当化し、得られた知見について考察する。

関連論文リスト

• Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
  連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。 ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
  論文  参考訳（メタデータ） (2025-02-17T15:40:13Z)
• An Empirical Study of Deep Reinforcement Learning in Continuing Tasks [5.741277679263804]
  強化学習(RL)では、継続タスクはエージェントと環境の相互作用が進行中であり、エピソードに分解できないタスクを指す。 本研究では,Mujoco環境とAtari環境をベースとした一連のタスクテストベッドを用いて,よく知られた深層RLアルゴリズムについて検討する。 また,時間差に基づくRLアルゴリズムを改良する手法の有効性についても検討した。
  論文  参考訳（メタデータ） (2025-01-12T21:24:27Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning [18.61040106667249]
  AIでは、一般化とは、与えられたタスクに関連するアウト・オブ・ディストリビューション・データに対して、トレーニングされたデータ以外にうまく機能するモデルの能力を指す。 継続的な学習方法は、しばしば破滅的な忘れを軽減し、以前のタスクからの知識を確実に保持するメカニズムを含んでいる。 本稿では, 形状テクスチュア整合性規則化(STCR)と呼ばれる, 連続的な学習を支援する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T04:36:24Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• Continual Learning for Pose-Agnostic Object Recognition in 3D Point Clouds [5.521693536291449]
  この研究は、オブジェクトのポーズが動的かつ予測不能に変化する、ポーズに依存しない連続的な学習タスクに焦点を当てる。 本稿では,従来のタスクの幾何等値情報を効果的に蒸留する連続学習モデルを提案する。 実験により,本手法はいくつかの主流クラウドデータセットにおいて,ポーズに依存しないシナリオの課題を克服することを示した。
  論文  参考訳（メタデータ） (2022-09-11T11:31:39Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint [35.5156045701898]
  各タスクの損失関数の2階Taylor近似として定式化することにより、正規化に基づく連続学習の新しい視点を提供する。 この観点から、正規化に基づく連続学習の最適化側面(収束)と一般化特性(有限サンプル保証)を考察する。
  論文  参考訳（メタデータ） (2020-06-19T06:08:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。