論文の概要: CARES: Coverage-Aware Replay Exemplar Selection for Continual Learning
- arxiv url: http://arxiv.org/abs/2610.32799v1
- Date: Fri, 23 Oct 2026 15:39:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.59755
- Title: CARES: Coverage-Aware Replay Exemplar Selection for Continual Learning
- Title（参考訳）: CARES: 継続的な学習のためのカバー・アウェア・エグゼクティブ・リプレイ・エグゼクティブ・セレクション
- Abstract要約: リプレイベースの連続学習は、過去のサンプルのバッファを保持することで忘れを省く。
最近のコアセットベースのリプレイ手法は、モデル由来の勾配、損失、補助最適化を用いてバッファ品質を改善する。
バッファ構築のための連続モデル最適化自由アプローチであるCARESを提案する。
- 参考スコア（独自算出の注目度）: 8.36088371152141
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Replay-based Continual Learning mitigates catastrophic forgetting by keeping a buffer of past samples, making buffer composition critical under a fixed memory budget. Recent coreset-based replay methods improve buffer quality using model-derived gradients, losses, or auxiliary optimization, but incur substantial computational overhead as memory is repeatedly updated. We propose CARES, a continual model-optimization-free approach for buffer construction that instead exploits the geometry of a frozen pretrained feature space using class-aware, density-weighted coverage. We evaluate CARES across balanced, imbalanced, and label-noisy streams under online class- and task-incremental settings. On Tiny-ImageNet, CARES is 2.3 to 8.8 times faster than existing coreset-based selectors. Although CARES achieves this speedup using no training signal from the continual learner, it ranks among the state of the art across balanced, imbalanced, and label-noisy streams under online class- and task-incremental settings, outperforming the strongest baseline by up to 7.58 percentage points under class imbalance while also attaining higher average accuracy on Tiny-ImageNet. Code will be released upon publication
- Abstract（参考訳）: リプレイベースの連続学習は、過去のサンプルのバッファを保持することで破滅的な忘れを軽減し、固定メモリ予算の下でバッファ構成をクリティカルにする。
近年のコアセットベースのリプレイ法では,メモリの更新が繰り返されるにつれて,モデル由来の勾配,損失,補助的な最適化によってバッファ品質が向上するが,計算オーバーヘッドは大幅に増大する。
バッファ構築のための連続モデル最適化のないアプローチであるCARESを提案し、代わりにクラス認識・密度重み付きカバレッジを用いて凍結事前学習された特徴空間の幾何学を利用する。
オンライン・クラス・タスク・インクリメンタル・セッティングにおいて,バランスの取れた,不均衡な,ラベルノイズの多いストリーム間でCARESを評価した。
Tiny-ImageNetでは、CARESは既存のコアセットベースのセレクタの2.3倍から8.8倍高速である。
CARESは連続学習者からのトレーニング信号を用いずにこのスピードアップを達成するが、オンラインクラスとタスクインクリメンタル設定下では、バランスのとれた、バランスのとれた、バランスのとれた、ラベルノイズの多いストリームの中で、最強のベースラインを最大7.58ポイントまで上回り、Tiny-ImageNetの精度も高い。
コードは公開時に公開される
関連論文リスト
- Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space [78.05046281165885]
微調整の低ビットモデルは、最終配置されたチェックポイントを同じ低ビット形式に保ちながら、量子化されたモデルを適用することを目的としている。
GradCodesは、異なる量子化データタイプにわたる微調整の低ビットモデルを一貫して改善する。
論文 参考訳（メタデータ） (2026-08-31T14:54:30Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - ReCal3R: Reliability-Calibrated Learning Rates for Streaming 3D Reconstruction [57.10941470313318]
ストリーミング3D再構成は、リニア時間とバウンドメモリで長い画像ストリームを処理するために、コンパクトなリカレントシーン状態に依存する。
本稿では,ReCal3Rを提案する。ReCal3Rは3次元再構成を再現するための信頼性校正学習率法である。
論文 参考訳（メタデータ） (2026-07-06T17:35:18Z) - Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。
SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
論文 参考訳（メタデータ） (2026-06-07T15:22:13Z) - MANGO: Meta-Adaptive Network Gradient Optimization for Online Continual Learning [6.996743265827468]
Online Continual Learning (OCL)では、ニューラルネットワークは、制限されたメモリ再生バッファにのみアクセス可能な単一のパスで、非定常データストリームから順次学習する。
既存の方法は、リプレイベースのリハーサル、出力レベルの蒸留、固定正規化、あるいは現在のデータでのメタラーニングによる忘れを抑える。
OCL フレームワークである Meta-Adaptive Network Gradient Optimization (MANGO) を提案する。
論文 参考訳（メタデータ） (2026-05-18T20:11:26Z) - Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns [0.16921396880325779]
アーキテクチャレベルでの継続的な学習に対処するデコーダのみのバックボーンであるTRC$2(Thalamically Routed Cortical Columns)を導入します。
結果として得られるブロックはスパースでチャンク並列であり、各サブシステムのクリーンなアブレーションを維持しながら、効率的なトレーニングと推論を可能にする。
論文 参考訳（メタデータ） (2026-02-25T23:38:16Z) - GPS: Distilling Compact Memories via Grid-based Patch Sampling for Efficient Online Class-Incremental Learning [20.112448377660854]
我々は,訓練可能なモデルに頼ることなく,情報的メモリサンプルを蒸留するための軽量な戦略であるGrid-based Patch Smpling (GPS)を紹介した。
GPSは、元の画像から画素のサブセットをサンプリングして情報的サンプルを生成し、コンパクトな低解像度表現を生成する。
GPSは既存のリプレイフレームワークにシームレスに統合できるため、メモリ制限された設定下での平均終了精度が3%-4%向上する。
論文 参考訳（メタデータ） (2025-04-14T16:58:02Z) - Dynamic Gradient Sparse Update for Edge Training [0.0502254944841629]
トレーニングにおけるバックプロパゲーションの勾配計算は、中間機能と計算損失を格納するために、大きなメモリバッファを必要とする。
これはマイクロコントローラのようなメモリ制限されたエッジデバイスでは受け入れられない。
本稿では,メモリ使用量を削減するために動的勾配スパース更新を用いたトレーニングアクセラレーション手法を提案する。
論文 参考訳（メタデータ） (2025-03-23T06:32:12Z) - Hyperspherical Normalization for Scalable Deep Reinforcement Learning [57.016639036237315]
SimbaV2は最適化を安定させるために設計された新しい強化学習アーキテクチャである。
57の連続制御タスクにおいて、より大きなモデルとより大きな計算で効果的にスケールアップし、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-02-21T08:17:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。