論文の概要: Data-Distill-Net: A Data Distillation Approach Tailored for Reply-based Continual Learning

• arxiv url: http://arxiv.org/abs/2505.20135v2
• Date: Wed, 28 May 2025 16:33:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:28.097181
• Title: Data-Distill-Net: A Data Distillation Approach Tailored for Reply-based Continual Learning
• Title（参考訳）: Data-Distill-Net:Reply-based Continual Learningのためのデータ蒸留アプローチ
• Authors: Wenyang Liao, Quanziang Wang, Yichen Wu, Renzhen Wang, Deyu Meng,
• Abstract要約: リプレイベースの連続学習(CL)手法は、小さなサブセットで訓練されたモデルが、完全なデータセットの経験的リスクを効果的に最小化できると仮定する。 本稿では,学習可能なメモリバッファを維持し,グローバルな情報を抽出する,CLに適した新しいデータセット蒸留フレームワークを提案する。 提案手法は, 競合する結果を得ることができ, 様々なデータセットをまたがる忘れを効果的に軽減することができる。
• 参考スコア（独自算出の注目度）: 38.35059818510632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Replay-based continual learning (CL) methods assume that models trained on a small subset can also effectively minimize the empirical risk of the complete dataset. These methods maintain a memory buffer that stores a sampled subset of data from previous tasks to consolidate past knowledge. However, this assumption is not guaranteed in practice due to the limited capacity of the memory buffer and the heuristic criteria used for buffer data selection. To address this issue, we propose a new dataset distillation framework tailored for CL, which maintains a learnable memory buffer to distill the global information from the current task data and accumulated knowledge preserved in the previous memory buffer. Moreover, to avoid the computational overhead and overfitting risks associated with parameterizing the entire buffer during distillation, we introduce a lightweight distillation module that can achieve global information distillation solely by generating learnable soft labels for the memory buffer data. Extensive experiments show that, our method can achieve competitive results and effectively mitigates forgetting across various datasets. The source code will be publicly available.
• Abstract（参考訳）: リプレイベースの連続学習(CL)手法は、小さなサブセットで訓練されたモデルが、完全なデータセットの経験的リスクを効果的に最小化できると仮定する。 これらの方法は、過去の知識を統合するために、以前のタスクからサンプル化されたデータのサブセットを格納するメモリバッファを保持する。 しかし、この仮定は、メモリバッファの容量の制限とバッファデータ選択に使用されるヒューリスティックな基準のため、実際には保証されていない。 そこで本研究では,学習可能なメモリバッファを維持し,現在のタスクデータからグローバル情報を抽出し,前のメモリバッファに保存された知識を蓄積する,CLに適した新しいデータセット蒸留フレームワークを提案する。 さらに, メモリバッファデータに対して学習可能なソフトラベルを生成することで, グローバルな情報蒸留を実現する軽量蒸留モジュールを導入する。 大規模な実験により,本手法は競合的な結果を得ることができ,様々なデータセットをまたがる忘れを効果的に軽減できることが示された。 ソースコードは公開されます。

関連論文リスト

• Dynamic Dual Buffer with Divide-and-Conquer Strategy for Online Continual Learning [10.599650191041217]
  オンライン連続学習(OCL)は、バッチからバッチまでのオンラインフォーマットで新しいデータが到着する複雑な学習環境を提供する。 本稿では、動的情報を保持するための短期記憶システムと、永続的な知識をアーカイブする長期記憶システムを組み込んだ革新的なメモリフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-23T16:57:04Z)
• GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning [20.112448377660854]
  我々は,訓練可能なモデルに頼ることなく,情報的メモリサンプルを蒸留するための軽量な戦略であるGrid-based Patch Smpling (GPS)を紹介した。 GPSは、元の画像から画素のサブセットをサンプリングして情報的サンプルを生成し、コンパクトな低解像度表現を生成する。 GPSは既存のリプレイフレームワークにシームレスに統合できるため、メモリ制限された設定下での平均終了精度が3%-4%向上する。
  論文  参考訳（メタデータ） (2025-04-14T16:58:02Z)
• Enabling On-Device Learning via Experience Replay with Efficient Dataset Condensation [15.915388740468815]
  本稿では,重要な情報損失を回避するために,最も代表的データを特定する問題に対処するオンデバイスフレームワークを提案する。 具体的には、未ラベルの着信データを効果的に処理するために、未ラベルのオンデバイス学習環境向けに設計された擬似ラベル技術を提案する。 バッファ容量は1クラスにつき1サンプルに過ぎず,既存のベースラインを58.4%上回る精度を実現している。
  論文  参考訳（メタデータ） (2024-05-25T07:52:36Z)
• Integral Continual Learning Along the Tangent Vector Field of Tasks [112.02761912526734]
  本稿では,特殊データセットからの情報を段階的に組み込んだ軽量連続学習手法を提案する。 ソースデータセットの0.4%まで小さく、小さな固定サイズのメモリバッファを保持しており、単純な再サンプリングによって更新される。 提案手法は,異なるデータセットに対して,様々なバッファサイズで高い性能を実現する。
  論文  参考訳（メタデータ） (2022-11-23T16:49:26Z)
• Improving information retention in large scale online continual learning [99.73847522194549]
  オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。 最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。 非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
  論文  参考訳（メタデータ） (2022-10-12T16:59:43Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Improving Task-free Continual Learning by Distributionally Robust Memory Evolution [9.345559196495746]
  タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。 既存の手法は、メモリデータ分布における高い不確実性を見落としている。 本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-15T02:16:09Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。