論文の概要: Dynamic Dual Buffer with Divide-and-Conquer Strategy for Online Continual Learning

• arxiv url: http://arxiv.org/abs/2505.18101v1
• Date: Fri, 23 May 2025 16:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.237875
• Title: Dynamic Dual Buffer with Divide-and-Conquer Strategy for Online Continual Learning
• Title（参考訳）: オンライン連続学習のための分割・並行戦略を用いた動的デュアルバッファ
• Authors: Congren Dai, Huichi Zhou, Jiahao Huang, Zhenxuan Zhang, Fanwen Wang, Guang Yang, Fei Ye,
• Abstract要約: オンライン連続学習(OCL)は、バッチからバッチまでのオンラインフォーマットで新しいデータが到着する複雑な学習環境を提供する。 本稿では、動的情報を保持するための短期記憶システムと、永続的な知識をアーカイブする長期記憶システムを組み込んだ革新的なメモリフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.599650191041217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Continual Learning (OCL) presents a complex learning environment in which new data arrives in a batch-to-batch online format, and the risk of catastrophic forgetting can significantly impair model efficacy. In this study, we address OCL by introducing an innovative memory framework that incorporates a short-term memory system to retain dynamic information and a long-term memory system to archive enduring knowledge. Specifically, the long-term memory system comprises a collection of sub-memory buffers, each linked to a cluster prototype and designed to retain data samples from distinct categories. We propose a novel $K$-means-based sample selection method to identify cluster prototypes for each encountered category. To safeguard essential and critical samples, we introduce a novel memory optimisation strategy that selectively retains samples in the appropriate sub-memory buffer by evaluating each cluster prototype against incoming samples through an optimal transportation mechanism. This approach specifically promotes each sub-memory buffer to retain data samples that exhibit significant discrepancies from the corresponding cluster prototype, thereby ensuring the preservation of semantically rich information. In addition, we propose a novel Divide-and-Conquer (DAC) approach that formulates the memory updating as an optimisation problem and divides it into several subproblems. As a result, the proposed DAC approach can solve these subproblems separately and thus can significantly reduce computations of the proposed memory updating process. We conduct a series of experiments across standard and imbalanced learning settings, and the empirical findings indicate that the proposed memory framework achieves state-of-the-art performance in both learning contexts.
• Abstract（参考訳）: オンライン連続学習(OCL)は、バッチからバッチまでのオンラインフォーマットで新しいデータが到着する複雑な学習環境を示し、破滅的な忘れ込みのリスクはモデルの有効性を著しく損なう可能性がある。 本研究では、動的情報を保持するための短期記憶システムと、永続的な知識をアーカイブする長期記憶システムを組み込んだ革新的なメモリフレームワークを導入することで、OCLに対処する。 具体的には、長期記憶システムは、サブメモリバッファのコレクションを含み、それぞれがクラスタプロトタイプにリンクされ、異なるカテゴリのデータサンプルを保持するように設計されている。 そこで本研究では,各カテゴリのクラスタプロトタイプを特定するために,新しい$K$-means-based sample selection法を提案する。 重要かつ重要なサンプルを保護するため,各クラスタのプロトタイプを最適な輸送機構によって評価することにより,サンプルを適切なサブメモリバッファに選択的に保持する新たなメモリ最適化戦略を導入する。 このアプローチは、各サブメモリバッファに対して、対応するクラスタプロトタイプとの大きな相違点を示すデータサンプルを保持するよう特別に推進し、セマンティックなリッチな情報の保存を保証する。 さらに,メモリ更新を最適化問題として定式化し,複数のサブプロブレムに分割するDivide-and-Conquer(DAC)手法を提案する。 その結果,提案手法はサブプロブレムを個別に解くことができ,メモリ更新プロセスの計算を大幅に削減することができる。 本研究は,学習環境の標準化と不均衡に関する一連の実験を行い,提案したメモリフレームワークが両方の学習環境において最先端の性能を達成することを示す実証的な知見を得た。

関連論文リスト

• Information-Theoretic Dual Memory System for Continual Learning [8.803516528821161]
  我々はITDMS(Information-Theoretic Dual Memory System)と呼ばれる革新的なデュアルメモリシステムを提案する。 このシステムは、一時的および新規なサンプルを保持するように設計された高速メモリバッファと、重要かつ情報的なサンプルを保存するための遅いメモリバッファから構成される。 提案手法は,一連の連続学習実験を通じて厳密に評価され,提案システムの有効性を実証した。
  論文  参考訳（メタデータ） (2025-01-13T15:01:12Z)
• Towards Continuous Reuse of Graph Models via Holistic Memory Diversification [18.66123763295736]
  本稿では,より複雑なタスクを持つグラフの成長における漸進的学習の課題に対処する。 目標は、新しいタスクを処理するためにグラフモデルを継続的にトレーニングし、メモリリプレイによる以前のタスクの習熟性を維持することである。 既存の方法は、通常、以前のタスクから高品質なメモリを選択する際の制限として、メモリの多様性の重要性を見落としている。
  論文  参考訳（メタデータ） (2024-06-11T16:18:15Z)
• I2CANSAY:Inter-Class Analogical Augmentation and Intra-Class Significance Analysis for Non-Exemplar Online Task-Free Continual Learning [42.608860809847236]
  オンラインタスクフリー連続学習(OTFCL)は、継続学習のより困難なバリエーションである。 既存のメソッドは、忘れるのを防ぐために古いサンプルで構成されたメモリバッファに依存している。 我々は,メモリバッファへの依存をなくし,ワンショットサンプルから新しいデータの知識を効率的に学習するI2CANSAYという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-21T08:28:52Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Dual Cluster Contrastive learning for Person Re-Identification [78.42770787790532]
  私たちはDual Cluster Contrastive Learning(DCC)という統合クラスタコントラストフレームワークを定式化します。 DCCは、個々のメモリバンクとセントロイドクラスタメモリバンクの2種類のメモリバンクを維持している。 教師なしまたは監督されていない人物のReIDに容易に適用できる。
  論文  参考訳（メタデータ） (2021-12-09T02:43:25Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。