論文の概要: Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2209.04212v1
• Date: Fri, 9 Sep 2022 09:59:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-12 12:23:17.111042
• Title: Selecting Related Knowledge via Efficient Channel Attention for Online Continual Learning
• Title（参考訳）: オンライン連続学習における効率的なチャンネルアテンションによる関連知識の選択
• Authors: Ya-nan Han, Jian-wei Liu
• Abstract要約: Selecting Related Knowledge for Online Continual Learning (SRKOCL) という新しいフレームワークを提案する。 我々のモデルはまた、破滅的な忘れを回避すべく、経験的なリプレイと知識の蒸留を組み合わせる。
• 参考スコア（独自算出の注目度）: 4.109784267309124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to learn a sequence of tasks by leveraging the knowledge acquired in the past in an online-learning manner while being able to perform well on all previous tasks, this ability is crucial to the artificial intelligence (AI) system, hence continual learning is more suitable for most real-word and complex applicative scenarios compared to the traditional learning pattern. However, the current models usually learn a generic representation base on the class label on each task and an effective strategy is selected to avoid catastrophic forgetting. We postulate that selecting the related and useful parts only from the knowledge obtained to perform each task is more effective than utilizing the whole knowledge. Based on this fact, in this paper we propose a new framework, named Selecting Related Knowledge for Online Continual Learning (SRKOCL), which incorporates an additional efficient channel attention mechanism to pick the particular related knowledge for every task. Our model also combines experience replay and knowledge distillation to circumvent the catastrophic forgetting. Finally, extensive experiments are conducted on different benchmarks and the competitive experimental results demonstrate that our proposed SRKOCL is a promised approach against the state-of-the-art.
• Abstract（参考訳）: 連続学習は、過去の知識をオンライン学習方式で活用してタスクのシーケンスを学習することを目的としており、この能力は人工知能(AI)システムにとって不可欠である。 しかし、現在のモデルは、通常、各タスク上のクラスラベルの汎用表現ベースを学習し、破滅的な忘れを避けるために効果的な戦略を選択する。 各タスクを遂行するために得られた知識のみから、関連し有用な部分を選択することは、知識全体の活用よりも有効であると仮定する。 そこで本研究では,タスク毎に特定の関連する知識を選択するための,より効率的なチャネルアテンション機構を備えたSRKOCL(Selecting Related Knowledge for Online Continual Learning)というフレームワークを提案する。 我々のモデルはまた、破滅的な忘れを回避するために経験的リプレイと知識蒸留を組み合わせる。 最後に,様々なベンチマークを用いて広範な実験を行い,提案するsrkoclが最先端の手法であることを示す。

関連論文リスト

• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Quiz-based Knowledge Tracing [61.9152637457605]
  知識追跡は、学習相互作用に基づいて個人の進化する知識状態を評価することを目的としている。 QKTは、既存の方法と比較して最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-04-05T12:48:42Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning [18.61040106667249]
  AIでは、一般化とは、与えられたタスクに関連するアウト・オブ・ディストリビューション・データに対して、トレーニングされたデータ以外にうまく機能するモデルの能力を指す。 継続的な学習方法は、しばしば破滅的な忘れを軽減し、以前のタスクからの知識を確実に保持するメカニズムを含んでいる。 本稿では, 形状テクスチュア整合性規則化(STCR)と呼ばれる, 連続的な学習を支援する簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T04:36:24Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Toward Sustainable Continual Learning: Detection and Knowledge Repurposing of Similar Tasks [31.095642850920385]
  本稿では,連続学習者が類似タスクと異種タスクを混在させるパラダイムを提案する。 本稿では,追加学習を必要としないタスク類似度検出機能を用いた連続学習フレームワークを提案する。 実験の結果,提案フレームワークは広く使用されているコンピュータビジョンのベンチマークで競合的に動作することがわかった。
  論文  参考訳（メタデータ） (2022-10-11T19:35:30Z)
• A Closer Look at Knowledge Distillation with Features, Logits, and Gradients [81.39206923719455]
  知識蒸留(KD)は、学習した知識をあるニューラルネットワークモデルから別のニューラルネットワークモデルに転送するための重要な戦略である。 この研究は、古典的なKL分割基準を異なる知識源で近似することで、一連の知識蒸留戦略を動機付ける新しい視点を提供する。 分析の結果,ロジットは一般的により効率的な知識源であり,十分な特徴次元を持つことがモデル設計に不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2022-03-18T21:26:55Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Self-Attention Meta-Learner for Continual Learning [5.979373021392084]
  SAM(Self-Attention Meta-Learner)は,タスクのシーケンスを学習する継続的学習の事前知識を学習する。 SAMには、将来のタスクごとに特定の関連する表現を選択することを学ぶアテンションメカニズムが組み込まれている。 タスク推論において,提案手法を Split CIFAR-10/100 と Split MNIST のベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-01-28T17:35:04Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。