論文の概要: Active Learning for Continual Learning: Keeping the Past Alive in the Present

• arxiv url: http://arxiv.org/abs/2501.14278v1
• Date: Fri, 24 Jan 2025 06:46:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:55.970635
• Title: Active Learning for Continual Learning: Keeping the Past Alive in the Present
• Title（参考訳）: 継続的な学習のためのアクティブラーニング:過去を現在まで存続させる
• Authors: Jaehyun Park, Dongmin Park, Jae-Gil Lee,
• Abstract要約: 本稿では,累積情報量に基づくアクティブ連続学習であるAccuACLを提案する。 我々は、AcuACLが様々なCLアルゴリズムでALベースラインを大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 17.693559751968742
• License:
• Abstract: Continual learning (CL) enables deep neural networks to adapt to ever-changing data distributions. In practice, there may be scenarios where annotation is costly, leading to active continual learning (ACL), which performs active learning (AL) for the CL scenarios when reducing the labeling cost by selecting the most informative subset is preferable. However, conventional AL strategies are not suitable for ACL, as they focus solely on learning the new knowledge, leading to catastrophic forgetting of previously learned tasks. Therefore, ACL requires a new AL strategy that can balance the prevention of catastrophic forgetting and the ability to quickly learn new tasks. In this paper, we propose AccuACL, Accumulated informativeness-based Active Continual Learning, by the novel use of the Fisher information matrix as a criterion for sample selection, derived from a theoretical analysis of the Fisher-optimality preservation properties within the framework of ACL, while also addressing the scalability issue of Fisher information-based AL. Extensive experiments demonstrate that AccuACL significantly outperforms AL baselines across various CL algorithms, increasing the average accuracy and forgetting by 23.8% and 17.0%, respectively, in average.
• Abstract（参考訳）: 継続学習(CL)は、深層ニューラルネットワークが絶えず変化するデータ分布に適応できるようにする。 実際には、アノテーションのコストがかかるシナリオがあり、最も情報性の高いサブセットを選択することでラベリングコストを削減する際に、CLシナリオに対してアクティブな学習(AL)を行うアクティブ連続学習(ACL)が好まれる。 しかし、従来のAL戦略は、新しい知識を学習することだけに重点を置いているため、ACLには適していない。 そのため、ACLは破滅的な忘れの防止と、新しいタスクを迅速に学習する能力のバランスをとることができる新しいAL戦略が必要である。 本稿では,ACLのフレームワーク内でのフィッシャー最適保存特性の理論解析から得られた,フィッシャー情報行列をサンプル選択の基準として,蓄積情報量に基づくアクティブ連続学習であるAccuACLを提案するとともに,フィッシャー情報に基づくALのスケーラビリティ問題にも対処する。 大規模な実験により、AccuACLは様々なCLアルゴリズムでALベースラインを著しく上回り、平均精度を 23.8% と 17.0% に向上させた。

関連論文リスト

• What Makes CLIP More Robust to Long-Tailed Pre-Training Data? A Controlled Study for Transferable Insights [67.72413262980272]
  大規模なデータ不均衡は、Webスケールの視覚言語データセットの間に自然に存在する。 事前学習したCLIPは、教師付き学習と比較してデータ不均衡に顕著な堅牢性を示す。 CLIPの堅牢性と差別性は、より記述的な言語監督、より大きなデータスケール、より広いオープンワールドの概念によって改善される。
  論文  参考訳（メタデータ） (2024-05-31T17:57:24Z)
• Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
  本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。 この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。 広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
  論文  参考訳（メタデータ） (2024-04-19T10:10:39Z)
• Data Poisoning for In-context Learning [49.77204165250528]
  In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。 本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。 ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
  論文  参考訳（メタデータ） (2024-02-03T14:20:20Z)
• Metalearning Continual Learning Algorithms [42.710124929514066]
  本稿では,自己参照型ニューラルネットワークを連続的(メタ)学習アルゴリズムに学習するために,ACL(Automated Continual Learning)を提案する。 ACLは、継続学習(CL)デシダラタ(古いタスクと新しいタスクの両方で優れたパフォーマンス)をメタラーニング目標にエンコードする。 我々の実験は、ACLが「コンテキスト内破滅的忘れ」を効果的に解決することを示した。
  論文  参考訳（メタデータ） (2023-12-01T01:25:04Z)
• In-Context Learning Learns Label Relationships but Is Not Conventional Learning [60.891931501449726]
  大規模言語モデルの文脈内学習(ICL)能力について、現時点では合意が得られていない。 ICLがラベル情報をどのように活用するかという新たな洞察を提供し、機能と制限の両方を明らかにします。 実験の結果, ICLの予測はコンテキスト内ラベルにほぼ常に依存しており, ICLはコンテキスト内における真に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T16:54:41Z)
• Can Continual Learning Improve Long-Tailed Recognition? Toward a Unified Framework [16.457778420360537]
  長大認識法は,より大きい頭部セットと小さいテールセットの両方からなるデータセットを正確に学習することを目的としている。 本研究では,学習者の重みを効果的に更新し,頭部を忘れずにタイルを学習できることを示す。 また,自然に不均衡な256データセット上でCLを探索することにより,実世界のデータに対するCL手法の適用性を評価する。
  論文  参考訳（メタデータ） (2023-06-23T03:05:33Z)
• On the Effectiveness of Equivariant Regularization for Robust Online Continual Learning [17.995662644298974]
  継続的な学習(CL)アプローチは、このギャップを埋めるために、以前のタスクと将来のタスクの両方への知識の伝達を容易にする。 近年の研究では、多種多様な下流タスクをうまく一般化できる多目的モデルを作成することができることが示されている。 等変正則化(CLER)による連続学習を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:10:31Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。