Fugu-MT 論文翻訳(概要): Knowledge Capture and Replay for Continual Learning

論文の概要: Knowledge Capture and Replay for Continual Learning

arxiv url: http://arxiv.org/abs/2012.06789v2
Date: Thu, 29 Apr 2021 14:17:52 GMT
ステータス: 処理完了
システム内更新日: 2021-05-10 05:28:01.541686
Title: Knowledge Capture and Replay for Continual Learning
Title（参考訳）: 継続的学習のためのナレッジキャプチャとリプレイ
Authors: Saisubramaniam Gopalakrishnan, Pranshu Ranjan Singh, Haytham Fayek, Savitha Ramasamy, Arulmurugan Ambikapathi
Abstract要約: ネットワークをエンコードした知識を捕捉する視覚表現であるemフラッシュカードを紹介します。継続的な学習シナリオでは、フラッシュカードは以前のすべてのタスクの知識を忘れることや統合することを防ぐのに役立ちます。学習知識表現の獲得におけるフラッシュカードの有効性(元のデータセットの代替として)を実証し,様々な連続的な学習課題を実証的に検証した。
参考スコア（独自算出の注目度）: 0.4980584790669266
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks have shown promise in several domains, and the learned data (task) specific information is implicitly stored in the network parameters. Extraction and utilization of encoded knowledge representations are vital when data is no longer available in the future, especially in a continual learning scenario. In this work, we introduce {\em flashcards}, which are visual representations that {\em capture} the encoded knowledge of a network as a recursive function of predefined random image patterns. In a continual learning scenario, flashcards help to prevent catastrophic forgetting and consolidating knowledge of all the previous tasks. Flashcards need to be constructed only before learning the subsequent task, and hence, independent of the number of tasks trained before. We demonstrate the efficacy of flashcards in capturing learned knowledge representation (as an alternative to the original dataset) and empirically validate on a variety of continual learning tasks: reconstruction, denoising, task-incremental learning, and new-instance learning classification, using several heterogeneous benchmark datasets. Experimental evidence indicates that: (i) flashcards as a replay strategy is { \em task agnostic}, (ii) performs better than generative replay, and (iii) is on par with episodic replay without additional memory overhead.
Abstract（参考訳）: 深層ニューラルネットワークはいくつかの領域で約束を示し、学習データ(タスク)固有の情報はネットワークパラメータに暗黙的に格納される。エンコードされた知識表現の抽出と利用は、データが将来、特に継続的な学習シナリオで利用できない場合に不可欠である。本研究では,事前に定義されたランダムな画像パターンの再帰的関数として,ネットワークの符号化された知識をキャプチャする視覚表現である.emフラッシュカードを導入する。連続的な学習シナリオでは、フラッシュカードは破滅的な忘れ込みや過去のすべてのタスクの知識の統合を防ぐのに役立つ。フラッシュカードは、次のタスクを学習する前にのみ構築される必要があり、従って、トレーニングされたタスクの数に依存しない。本研究では,(オリジナルデータセットの代替として)学習知識表現のキャプチャにおけるフラッシュカードの有効性を実証し,複数のヘテロジニアスベンチマークデータセットを用いて,レコンストラクション,デノージング,タスクインクリメンタル学習,新たなインテンス学習分類など,さまざまな連続学習タスクを経験的に検証する。 i)リプレイ戦略としてのフラッシュカードは { \em task agnostic} であり、 (ii) 生成的リプレイよりも優れた性能を示し、 (iii) メモリオーバーヘッドを伴わずにエピソード・リプレイと同等である。

関連論文リスト

Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
論文参考訳（メタデータ） (2024-08-02T07:51:44Z)
Look At Me, No Replay! SurpriseNet: Anomaly Detection Inspired Class Incremental Learning [14.529164755845688]
継続的学習は、一連のタスクに関するインクリメンタルトレーニングを通じて、知識とスキルを蓄積可能な、人工知能ニューラルネットワークを作成することを目的としている。継続的な学習の主な課題は破滅的な干渉であり、そこでは新たな知識が過去の知識を覆い、あるいは干渉し、忘れてしまう。提案手法であるSurpriseNetは,パラメータ分離法と,異常検出にインスパイアされたオートエンコーダを用いたクロスタスク知識の学習により,破滅的な干渉に対処する。
論文参考訳（メタデータ） (2023-10-30T22:16:26Z)
Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。重要なことは、情報組織が記憶の2つの形態を指していることである。
論文参考訳（メタデータ） (2022-10-17T20:15:24Z)
Learning with Recoverable Forgetting [77.56338597012927]
学習wIth Recoverable Forgettingは、タスクまたはサンプル固有の知識の除去とリカバリを明示的に処理する。具体的には、LIRFは2つの革新的なスキーム、すなわち知識預金と離脱をもたらす。いくつかのデータセットで実験を行い、提案したLIRF戦略が一般化能力を満足させる結果をもたらすことを示す。
論文参考訳（メタデータ） (2022-07-17T16:42:31Z)
Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning [20.87638654650383]
メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。実験の結果,提案手法は従来の最先端手法よりも優れていた。
論文参考訳（メタデータ） (2022-07-03T13:15:45Z)
Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
一般化と記憶のバランスをとるためにRetroPromptを開発した。バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
論文参考訳（メタデータ） (2022-05-29T16:07:30Z)
Continual Learning via Bit-Level Information Preserving [88.32450740325005]
我々は情報理論のレンズを通して連続学習過程を研究する。モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
論文参考訳（メタデータ） (2021-05-10T15:09:01Z)
MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
論文参考訳（メタデータ） (2021-05-08T21:24:09Z)
Learning to Continually Learn Rapidly from Few and Noisy Data [19.09933805011466]
新しいタスクを学習しながら、外部に格納された古いデータを同時にトレーニングすることで、継続的な学習を実現することができる。過去のタスクごとに学習率をテキスト学習するメタラーニングナを使用することで、ベース学習者は少ないメモリで強力な結果が得られることが分かりました。
論文参考訳（メタデータ） (2021-03-06T08:29:47Z)
Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
論文参考訳（メタデータ） (2020-09-10T14:36:38Z)
Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
論文参考訳（メタデータ） (2020-02-19T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。