論文の概要: Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers

• arxiv url: http://arxiv.org/abs/2604.08336v1
• Date: Thu, 09 Apr 2026 15:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.980605
• Title: Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
• Title（参考訳）: 小バッファを用いた連続学習における補完的埋め込みによる再生選択
• Authors: Danit Yanowsky, Daphna Weinshall,
• Abstract要約: 多重埋め込み再生選択(MERS)は、バッファ選択モジュールをグラフベースのアプローチで置き換える。 連続学習アルゴリズムにおけるSOTA選択戦略に対する一貫した改善点を示す。 MERSは、リプレイベースの継続的な学習のための実践的でドロップインの強化である。
• 参考スコア（独自算出の注目度）: 7.6344611819427035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting remains a key challenge in Continual Learning (CL). In replay-based CL with severe memory constraints, performance critically depends on the sample selection strategy for the replay buffer. Most existing approaches construct memory buffers using embeddings learned under supervised objectives. However, class-agnostic, self-supervised representations often encode rich, class-relevant semantics that are overlooked. We propose a new method, Multiple Embedding Replay Selection, MERS, which replaces the buffer selection module with a graph-based approach that integrates both supervised and self-supervised embeddings. Empirical results show consistent improvements over SOTA selection strategies across a range of continual learning algorithms, with particularly strong gains in low-memory regimes. On CIFAR-100 and TinyImageNet, MERS outperforms single-embedding baselines without adding model parameters or increasing replay volume, making it a practical, drop-in enhancement for replay-based continual learning.
• Abstract（参考訳）: 相変わらず忘れることは、継続学習(CL)において重要な課題である。 メモリ制約が厳しいリプレイベースのCLでは、パフォーマンスはリプレイバッファのサンプル選択戦略に大きく依存する。 既存のほとんどのアプローチは、教師付き目的の下で学んだ埋め込みを使ってメモリバッファを構築する。 しかし、クラスに依存しない自己教師付き表現は、見落としているリッチでクラス関連セマンティクスを符号化することが多い。 本稿では、バッファ選択モジュールをグラフベースのアプローチで置き換え、教師付きと自己教師型の両方の埋め込みを統合する新しい手法であるMultiple Embedding Replay Selection, MERSを提案する。 実験結果から,SOTA選択戦略に対して連続学習アルゴリズムが一貫した改善がみられた。 CIFAR-100 と TinyImageNet では,モデルパラメータの追加や再生ボリュームの増加を伴わずに,単一埋め込みベースラインよりも優れたパフォーマンスを実現している。

関連論文リスト

• MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning [36.119948355819]
  本稿では,サンプルレベルの記憶強度を推定し,アダプティブ間隔でリハーサルをスケジュールし,破滅的な忘れを緩和するエクスペリエンス・リプレイ・フレームワークを提案する。 3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験は、MSSRが一貫して最先端のリプレイベースラインを上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-10T16:49:44Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Watch Your Step: Optimal Retrieval for Continual Learning at Scale [1.7265013728931]
  連続学習では、モデルは古いタスクと新しいタスクの間の干渉を最小限にしながら、時間とともに漸進的に学習する。 継続的学習における最も広く使われているアプローチの1つは、リプレイと呼ばれる。 本稿では,単純で独立したクラス選択型プリミティブとサンプル選択型プリミティブによって分類された選択的検索戦略を評価するためのフレームワークを提案する。 本稿では,重複したリプレイを防止し,損失値の低い新しいサンプルをリプレイなしで学習できるかどうかを探索する戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-16T17:35:35Z)
• Class-Wise Buffer Management for Incremental Object Detection: An Effective Buffer Training Strategy [11.109975137910881]
  クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。 オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
  論文  参考訳（メタデータ） (2023-12-14T17:10:09Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• GCR: Gradient Coreset Based Replay Buffer Selection For Continual Learning [1.911678487931003]
  調査対象のオフライン学習環境において,最先端の学習に比べて有意な増加(2%～4%)を示した。 また、オンライン/ストリーミングのCL設定にも効果的に移行し、既存のアプローチよりも最大5%向上しました。
  論文  参考訳（メタデータ） (2021-11-18T18:01:57Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。