論文の概要: Information-Theoretic Dual Memory System for Continual Learning

• arxiv url: http://arxiv.org/abs/2501.07382v1
• Date: Mon, 13 Jan 2025 15:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:27:47.346938
• Title: Information-Theoretic Dual Memory System for Continual Learning
• Title（参考訳）: 連続学習のための情報理論デュアルメモリシステム
• Authors: RunQing Wu, KaiHui Huang, HanYi Zhang, QiHe Liu, GuoJin Yu, JingSong Deng, Fei Ye,
• Abstract要約: 我々はITDMS(Information-Theoretic Dual Memory System)と呼ばれる革新的なデュアルメモリシステムを提案する。 このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。 提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。
• 参考スコア（独自算出の注目度）: 8.803516528821161
• License:
• Abstract: Continuously acquiring new knowledge from a dynamic environment is a fundamental capability for animals, facilitating their survival and ability to address various challenges. This capability is referred to as continual learning, which focuses on the ability to learn a sequence of tasks without the detriment of previous knowledge. A prevalent strategy to tackle continual learning involves selecting and storing numerous essential data samples from prior tasks within a fixed-size memory buffer. However, the majority of current memory-based techniques typically utilize a single memory buffer, which poses challenges in concurrently managing newly acquired and previously learned samples. Drawing inspiration from the Complementary Learning Systems (CLS) theory, which defines rapid and gradual learning mechanisms for processing information, we propose an innovative dual memory system called the Information-Theoretic Dual Memory System (ITDMS). This system comprises a fast memory buffer designed to retain temporary and novel samples, alongside a slow memory buffer dedicated to preserving critical and informative samples. The fast memory buffer is optimized employing an efficient reservoir sampling process. Furthermore, we introduce a novel information-theoretic memory optimization strategy that selectively identifies and retains diverse and informative data samples for the slow memory buffer. Additionally, we propose a novel balanced sample selection procedure that automatically identifies and eliminates redundant memorized samples, thus freeing up memory capacity for new data acquisitions, which can deal with a growing array of tasks. Our methodology is rigorously assessed through a series of continual learning experiments, with empirical results underscoring the effectiveness of the proposed system.
• Abstract（参考訳）: 動的環境から新しい知識を継続的に獲得することは、動物にとって基本的な能力であり、その生存と様々な課題に対処する能力を促進する。 この能力は連続学習と呼ばれ、以前の知識を犠牲にすることなく一連のタスクを学習する能力に焦点を当てている。 継続的学習に取り組むための一般的な戦略は、以前のタスクから多数の必須データサンプルを固定サイズのメモリバッファ内で選択、保存することである。 しかし、現在のメモリベースの技術のほとんどは、通常、単一のメモリバッファを使用し、新しく取得され、以前に学習されたサンプルを同時に管理する際の課題を生じさせる。 本稿では,情報処理のための高速かつ段階的な学習機構を規定する補完学習システム(CLS)理論からインスピレーションを得て,情報理論デュアルメモリシステム(ITDMS)と呼ばれる革新的なデュアルメモリシステムを提案する。 このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。 高速メモリバッファは効率的な貯水池サンプリングプロセスを用いて最適化される。 さらに、遅いメモリバッファのための多種多様な情報データサンプルを選択的に識別し、保持する新しい情報理論メモリ最適化戦略を導入する。 さらに、冗長な記憶されたサンプルを自動的に識別・除去し、新たなデータ取得のためのメモリ容量を解放し、タスクの増大に対処する新しいバランスされたサンプル選択手順を提案する。 提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。

関連論文リスト

• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Holistic Memory Diversification for Incremental Learning in Growing Graphs [16.483780704430405]
  目標は、以前のタスクに対する推論能力を維持しながら、新しいタスクを処理するためにグラフモデルを継続的にトレーニングすることだ。 既存の方法は、通常、メモリの多様性の重要性を無視し、以前のタスクから高品質なメモリを効果的に選択することを制限する。 本稿では,グラフにおける漸進的学習のための包括的メモリ選択・生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T16:18:15Z)
• Lifelong Event Detection with Embedding Space Separation and Compaction [30.05158209938146]
  既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。 メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。 本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T06:51:49Z)
• Summarizing Stream Data for Memory-Constrained Online Continual Learning [17.40956484727636]
  本稿では,実画像のトレーニング特性を蒸留することにより,ストリームデータ(SSD)からの知識をより情報的なサンプルに要約することを提案する。 計算オーバーヘッドが限られているSSDは、非常に制限されたメモリバッファ下でのシーケンシャルCIFAR-100の精度を3%以上向上することを示した。
  論文  参考訳（メタデータ） (2023-05-26T05:31:51Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning [20.87638654650383]
  メモリプロンプトを用いてラベルテキスト情報を活用することを提案する。 メモリプロンプトは、新しいデータをシーケンシャルに学習し、一方、前の知識を記憶する。 実験の結果,提案手法は従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-03T13:15:45Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
  既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。 メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。 しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。 本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
  論文  参考訳（メタデータ） (2021-06-02T11:58:30Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。