論文の概要: Active Continual Learning: On Balancing Knowledge Retention and Learnability

• arxiv url: http://arxiv.org/abs/2305.03923v2
• Date: Tue, 30 Jan 2024 12:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 19:40:39.497860
• Title: Active Continual Learning: On Balancing Knowledge Retention and Learnability
• Title（参考訳）: アクティブ継続学習:知識保持と学習可能性のバランスについて
• Authors: Thuy-Trang Vu, Shahram Khadivi, Mahsa Ghorbanali, Dinh Phung and Gholamreza Haffari
• Abstract要約: 一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。 本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。 ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
• 参考スコア（独自算出の注目度）: 43.6658577908349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acquiring new knowledge without forgetting what has been learned in a sequence of tasks is the central focus of continual learning (CL). While tasks arrive sequentially, the training data are often prepared and annotated independently, leading to the CL of incoming supervised learning tasks. This paper considers the under-explored problem of active continual learning (ACL) for a sequence of active learning (AL) tasks, where each incoming task includes a pool of unlabelled data and an annotation budget. We investigate the effectiveness and interplay between several AL and CL algorithms in the domain, class and task-incremental scenarios. Our experiments reveal the trade-off between two contrasting goals of not forgetting the old knowledge and the ability to quickly learn new knowledge in CL and AL, respectively. While conditioning the AL query strategy on the annotations collected for the previous tasks leads to improved task performance on the domain and task incremental learning, our proposed forgetting-learning profile suggests a gap in balancing the effect of AL and CL for the class-incremental scenario.
• Abstract（参考訳）: 一連のタスクで学んだことを忘れずに新しい知識を得ることは、継続学習(continual learning, cl)の中心である。 タスクが順次やってくる間、トレーニングデータは、しばしば独立して準備され、アノテートされ、入ってくる教師付き学習タスクのclに繋がる。 本稿では,各タスクがラベルなしデータとアノテーション予算のプールを含むアクティブ・ラーニング(al)タスクのシーケンスに対して,アクティブ・コンティニュアル・ラーニング(acl)の未検討問題を検討する。 ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。 実験の結果,従来の知識を忘れないという2つの対照的な目標と,CLとALで新しい知識を素早く学習する能力とのトレードオフが明らかになった。 従来のタスクに対して収集したアノテーションにALクエリ戦略を条件付けると、ドメインとタスクの漸進学習におけるタスクパフォーマンスが向上するが、提案した忘れ学習プロファイルは、ALとCLの効果のバランスをとる際のギャップを示唆している。

関連論文リスト

• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Mitigating Interference in the Knowledge Continuum through Attention-Guided Incremental Learning [17.236861687708096]
  Attention-Guided Incremental Learning' (AGILE)は、タスク間の干渉を効果的に軽減するために、コンパクトなタスク注意を組み込んだリハーサルベースのCLアプローチである。 AGILEは、タスク干渉を緩和し、複数のCLシナリオにおいてリハーサルベースのアプローチより優れていることで、一般化性能を著しく向上する。
  論文  参考訳（メタデータ） (2024-05-22T20:29:15Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks [31.095642850920385]
  本稿では,連続学習者が類似タスクと異種タスクを混在させるパラダイムを提案する。 本稿では,追加学習を必要としないタスク類似度検出機能を用いた連続学習フレームワークを提案する。 実験の結果,提案フレームワークは広く使用されているコンピュータビジョンのベンチマークで競合的に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T19:35:30Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• Theoretical Understanding of the Information Flow on Continual Learning Performance [2.741266294612776]
  連続学習(Continuous Learning, CL)とは、エージェントがデータストリームから連続的に学習しなければならない設定である。 ネットワーク内の情報フローとCL性能の関係について検討し,「層間情報フローの知識はCFを緩和するためにどのように利用できるのか?」という疑問に答える。 我々の分析は、段階的なタスク学習プロセスにおいて、レイヤ内の情報適応に関する新しい洞察を提供する。
  論文  参考訳（メタデータ） (2022-04-26T00:35:58Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Self-Attention Meta-Learner for Continual Learning [5.979373021392084]
  SAM(Self-Attention Meta-Learner)は,タスクのシーケンスを学習する継続的学習の事前知識を学習する。 SAMには、将来のタスクごとに特定の関連する表現を選択することを学ぶアテンションメカニズムが組み込まれている。 タスク推論において,提案手法を Split CIFAR-10/100 と Split MNIST のベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-01-28T17:35:04Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。