論文の概要: GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2504.10409v2
• Date: Tue, 15 Apr 2025 03:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:15.232873
• Title: GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning
• Title（参考訳）: GPS:効率的なオンライン授業増分学習のためのグリッドベースパッチサンプリングによるコンパクトな記憶の蒸留
• Authors: Mingchuan Ma, Yuhao Zhou, Jindi Lv, Yuxin Tian, Dan Si, Shujian Li, Qing Ye, Jiancheng Lv,
• Abstract要約: 我々は,訓練可能なモデルに頼ることなく,情報的メモリサンプルを蒸留するための軽量な戦略であるGrid-based Patch Smpling (GPS)を紹介した。 GPSは、元の画像から画素のサブセットをサンプリングして情報的サンプルを生成し、コンパクトな低解像度表現を生成する。 GPSは既存のリプレイフレームワークにシームレスに統合できるため、メモリ制限された設定下での平均終了精度が3%-4%向上する。
• 参考スコア（独自算出の注目度）: 20.112448377660854
• License:
• Abstract: Online class-incremental learning aims to enable models to continuously adapt to new classes with limited access to past data, while mitigating catastrophic forgetting. Replay-based methods address this by maintaining a small memory buffer of previous samples, achieving competitive performance. For effective replay under constrained storage, recent approaches leverage distilled data to enhance the informativeness of memory. However, such approaches often involve significant computational overhead due to the use of bi-level optimization. Motivated by these limitations, we introduce Grid-based Patch Sampling (GPS), a lightweight and effective strategy for distilling informative memory samples without relying on a trainable model. GPS generates informative samples by sampling a subset of pixels from the original image, yielding compact low-resolution representations that preserve both semantic content and structural information. During replay, these representations are reassembled to support training and evaluation. Experiments on extensive benchmarks demonstrate that GRS can be seamlessly integrated into existing replay frameworks, leading to 3%-4% improvements in average end accuracy under memory-constrained settings, with limited computational overhead.
• Abstract（参考訳）: オンラインのクラス増分学習は、モデルが過去のデータへのアクセスに制限のある新しいクラスに継続的に適応できるようにし、破滅的な忘れを緩和することを目的としている。 リプレイベースのメソッドは、以前のサンプルの小さなメモリバッファを維持することでこの問題に対処し、競争力のあるパフォーマンスを実現する。 制約付きストレージ下での効果的なリプレイでは、最近の手法では、蒸留データを活用してメモリのインフォメーション性を高める。 しかし、このような手法は二段階最適化による計算オーバーヘッドがかなり大きい場合が多い。 これらの制約により,訓練可能なモデルに頼らずに情報的メモリサンプルを蒸留するための軽量かつ効果的な戦略であるGrid-based Patch Smpling (GPS)を導入する。 GPSは、元の画像から画素のサブセットをサンプリングし、セマンティックコンテンツと構造情報の両方を保持するコンパクトな低解像度表現を生成することで、情報的サンプルを生成する。 リプレイ中、これらの表現はトレーニングと評価をサポートするために再組み立てされる。 広範なベンチマークの実験では、GRSが既存のリプレイフレームワークにシームレスに統合できることが示され、メモリ制限された設定下での平均終了精度が3%-4%改善し、計算オーバーヘッドが制限された。

関連論文リスト

• Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
  既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。 また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。 連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:58:20Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Class-Wise Buffer Management for Incremental Object Detection: An Effective Buffer Training Strategy [11.109975137910881]
  クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。 オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
  論文  参考訳（メタデータ） (2023-12-14T17:10:09Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Memory Replay with Data Compression for Continual Learning [80.95444077825852]
  古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。 我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
  論文  参考訳（メタデータ） (2022-02-14T10:26:23Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。