論文の概要: NeuroGuard: Neural Gradient Update Aware of Representation Damage
- arxiv url: http://arxiv.org/abs/2608.08068v1
- Date: Sat, 08 Aug 2026 11:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.645791
- Title: NeuroGuard: Neural Gradient Update Aware of Representation Damage
- Title（参考訳）: NeuroGuard: 表現障害を意識した神経グラディエントアップデート
- Abstract要約: 本稿では,リプレイベースのLT-CILベースラインに更新制御法であるNeuroGuardを提案する。
NeuroGuardはDGRのリプレイメモリ、分類器、損失項のセットを保存する。
比較手法の中では,タスク非依存の精度が最良である。
- 参考スコア（独自算出の注目度）: 2.1485350418225244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-tailed class-incremental learning (LT-CIL) must learn new classes from imbalanced streams while retaining old classes. Existing methods mainly change replay, classifiers, or losses. We study a different factor, namely how strongly the feature representation should be updated at each task boundary. We propose NeuroGuard, an update-control method added to DGR, a replay-based LT-CIL baseline, without adding learnable parameters. NeuroGuard preserves DGR's replay memory, classifier, and set of loss terms. Adaptive Gradient Scaling (AGS) converts teacher uncertainty into one task-wise gradient scale. Confidence-Ranked Knowledge Distillation Reweighting (CRK) gives larger knowledge-distillation weights to replay samples that the teacher predicts less decisively. Fragility-Blended Entropy Gate (FBE) adds old-memory leakage to the scale decision. Across five LT-CIL settings, NeuroGuard improves over DGR in every setting. In the four main benchmark comparisons, it achieves the best task-agnostic accuracy among the compared methods. The gains extend to both old- and new-class accuracy, while medium-frequency accuracy improves consistently across all five settings. Controlled comparisons show that the gain does not come from generic gradient suppression: AGS outperforms a matched fixed-scale control in all five settings, demonstrating that boundary-specific scaling is more effective than applying the same average scale throughout learning.
- Abstract（参考訳）: 長い尾を持つクラス増分学習(LT-CIL)は、古いクラスを維持しながら、不均衡なストリームから新しいクラスを学習しなければならない。
既存のメソッドは、主にリプレイ、分類器、損失を変更する。
我々は,各タスク境界において,特徴表現がどの程度強く更新されるべきかという,異なる要因について検討する。
本稿では,リプレイベースのLT-CILベースラインであるDGRに,学習可能なパラメータを追加することなく更新制御手法であるNeuroGuardを提案する。
NeuroGuardはDGRのリプレイメモリ、分類器、損失項のセットを保存する。
アダプティブ・グラディエント・スケーリング (Adaptive Gradient Scaling, AGS) は、教師の不確実性を1つのタスクワイド・グラディエント・スケールに変換する。
CRK(Confidence-Ranked Knowledge Distillation Reweighting)は、教師が決定的に予測しにくいサンプルを再生するために、より大きな知識蒸留重量を与える。
FBE(Fragility-Blended Entropy Gate)は、スケール決定に古いメモリリークを追加する。
5つのLT-CIL設定で、NeuroGuardは各設定でDGRよりも改善されている。
4つの主要なベンチマーク比較において、比較した手法の中で最高のタスク非依存の精度を達成する。
ゲインは古いものと新しいものの両方の精度に拡張され、中頻度の精度は5つの設定すべてで一貫して改善される。
AGSは一致した固定スケール制御を5つの設定すべてで上回り、学習を通して同じ平均スケールを適用するよりも境界固有のスケーリングの方が効果的であることを示す。
関連論文リスト
- REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - MANGO: Meta-Adaptive Network Gradient Optimization for Online Continual Learning [6.996743265827468]
Online Continual Learning (OCL)では、ニューラルネットワークは、制限されたメモリ再生バッファにのみアクセス可能な単一のパスで、非定常データストリームから順次学習する。
既存の方法は、リプレイベースのリハーサル、出力レベルの蒸留、固定正規化、あるいは現在のデータでのメタラーニングによる忘れを抑える。
OCL フレームワークである Meta-Adaptive Network Gradient Optimization (MANGO) を提案する。
論文 参考訳（メタデータ） (2026-05-18T20:11:26Z) - Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting [19.886879714344076]
Low-Rank Adaptation (LoRA)は、タスク更新を低ランクパラメータサブスペースに制限することで、ダウンストリームのパフォーマンスを改善する。
訓練されたLoRA更新は、しばしば非効率なスペクトルを示し、タスク効果は特異方向の小さなサブセットに集中している。
SVD で LoRA 更新を分解する訓練自由改良法である Spectral Surgery を提案する。
論文 参考訳（メタデータ） (2026-03-04T12:38:36Z) - Geometric-Disentangelment Unlearning [106.99160454669902]
忘れたサンプルへの勾配は しばしば 保持された知識を傷つける
本稿では,GU(Geometric-disment Unlearning)を提案する。
本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
論文 参考訳（メタデータ） (2025-11-21T09:58:25Z) - Improvements of Dark Experience Replay and Reservoir Sampling towards Better Balance between Consolidation and Plasticity [6.20048328543366]
継続的学習は、自律的なエージェントにとって最も重要な能力の1つである。
過去のアウトプットを保持する能力は、分布シフトやその他の影響によって過去のアウトプットが間違っていた場合の学習を阻害する。
本稿では,各DERとRSの改善戦略を提案する。
論文 参考訳（メタデータ） (2025-04-29T16:50:05Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Understanding the Detrimental Class-level Effects of Data Augmentation [63.1733767714073]
最適な平均精度を達成するには、ImageNetで最大20%の個々のクラスの精度を著しく損なうコストがかかる。
本稿では,DAがクラスレベルの学習力学とどのように相互作用するかを理解するためのフレームワークを提案する。
そこで本研究では, クラス条件拡張戦略により, 負の影響を受けるクラスの性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-07T18:37:43Z) - A Coefficient Makes SVRG Effective [51.36251650664215]
SVRG (Variance Reduced Gradient) は理論的に説得力のある最適化手法である。
本研究では,実世界のニューラルネットワークを最適化するSVRGの可能性を示す。
論文 参考訳（メタデータ） (2023-11-09T18:47:44Z) - Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。
トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。
不均衡回帰タスクを解くために階層型分類器を構築することを提案する。
不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
論文 参考訳（メタデータ） (2023-10-26T04:54:39Z) - AdaCL:Adaptive Continual Learning [7.116403133334646]
クラスインクリメンタルラーニング(Class-Incremental Learning)は、より深い分類器を更新して新しいカテゴリを学習し、それまで観察されたクラスの精度を維持したり改善することを目的としている。
学習済みのクラスを忘れないようにするための一般的な方法は、ニューラルネットワークのアップデートの正規化とメモリ上の例の保存である。
各タスクにハイパーパラメータを適用すると、精度、忘れ、記憶が向上することを示す。
論文 参考訳（メタデータ） (2023-03-23T09:00:38Z) - Principal Gradient Direction and Confidence Reservoir Sampling for
Continual Learning [3.883460584034766]
タスクフリーオンライン連続学習は、非IDデータストリーム上の学習者の破滅的な忘れを緩和することを目的としている。
Experience Replay (ER) はSOTA連続学習法であり、他のリプレイ手法のバックボーンアルゴリズムとして広く使われている。
本稿では,ERを特殊な場合とみなすことのできる一般近位勾配フレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-21T23:11:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。