論文の概要: The Gentle Collapse: Distributional Metrics for Continual Learning
- arxiv url: http://arxiv.org/abs/2606.25165v1
- Date: Tue, 23 Jun 2026 20:53:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.142754
- Title: The Gentle Collapse: Distributional Metrics for Continual Learning
- Title（参考訳）: ジェントル崩壊:継続的学習のための分散メトリクス
- Authors: Ahmed Anwar, Andreas Wagner, Federico Raue, Tobias Nauen, Andreas Dengel,
- Abstract要約: 本報告では, 真のラベルランク(TLR), 予測信頼度, および, 連続的な忘れを特徴付ける分布の分散度にまたがる6つのソフトマックス由来の指標について紹介する。
CIFAR-100では、これらの指標が正確でない情報を持っている:0%の精度で、Confusion Marginは[0.32, 0.50]のICCにまたがっており、精度は同じである。
損失重みとして使用されるサンプル単位のスコアは、CIFAR-100上の統一経験リプレイ(ER)よりも1.3ポイント少ない。
- 参考スコア（独自算出の注目度）: 7.30570760963699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accuracy degradation is the standard metric for Catastrophic Forgetting (CF), however, it records only whether forgetting occurred or not. It saturates at the extremes and collapses discretely at task boundaries, hiding the internal structure of what is being forgotten. We introduce six softmax-derived metrics spanning true-label rank (TLR), predictive confidence, and distributional divergence that characterize forgetting continuously, each normalized to [0, 1] with no modification to training. On CIFAR-100, these metrics carry information where accuracy does not: at 0% accuracy, the Confusion Margin spans an IQR of [0.32, 0.50] across classes that accuracy treats identically. We demonstrate that this richer signal is actionable in mitigating catastrophic forgetting. Per-sample metric scores used as loss weights reduce forgetting by 1.3 percentage points over uniform experience replay (ER) on CIFAR-100. Furthermore, the slope of a metric over a small window provides a stable sampling criterion: at a small-window size (e.g. 3 epochs), accuracy-trend degrades to 34.79% (std. = 2.32) while log-TLR achieves 41.07% (std. = 0.57). This gap is structural since reliable small-window trend estimation requires a continuous signal. On TinyImageNet, log-TLR trend sampling reduces forgetting by 7.7 percentage points over the ER baseline.
- Abstract（参考訳）: 精度劣化は破滅的投機 (CF) の標準指標であるが, 忘れられたかどうかのみ記録する。
極端に飽和し、タスク境界で個別に崩壊し、忘れられているものの内部構造を隠す。
そこで本研究では,真のラベルランク(TLR),予測信頼度,分散分散度にまたがる6つのソフトマックス起源の指標を導入し,それぞれが[0, 1]に正規化され,トレーニングに手を加えない。
CIFAR-100では、これらの指標が正確でない情報を持っている:0%の精度で、Confusion Marginは[0.32, 0.50]のICCにまたがっており、精度は同じである。
我々は、このリッチな信号が破滅的な忘れを緩和するのに有効であることを実証した。
損失重みとして使用されるサンプル単位のメートル法スコアは、CIFAR-100上の統一経験リプレイ(ER)よりも1.3ポイント少ない。
さらに、小さな窓の上の計量の傾きは安定したサンプリング基準を与える:小さな窓のサイズ(例えば3エポック)では、精度トレンドは34.79%(std. = 2.32)に低下し、log-TLRは41.07%(std. = 0.57)となる。
このギャップは、信頼性の高い小さなウィンドウトレンド推定には連続的な信号が必要であるため、構造的である。
TinyImageNetでは、log-TLRトレンドサンプリングにより、ERベースライン上の忘れを7.7%削減する。
関連論文リスト
- LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data [2.1443570696048906]
大規模言語モデル(LLM)は、構造化された臨床データにますます適用される。
Qwen 2.5 7B と XGBoost を比較する。
論文 参考訳（メタデータ） (2026-06-17T18:49:44Z) - Beyond ROC-AUC: Operating-Point Performance Reporting for Biometric Verification [0.0]
生体認証器は、しばしば厳密な偽一致予算で展開されるので、スコア範囲の狭く低い偽一致率(FMR)スライスのみを使用する。
実際には、受信機動作特性曲線(ROC-AUC)の下の1つの領域が分解能として報告されている。
完全なROC-AUCでは、FMR = 10-3では、より強く見えることが示されている。
論文 参考訳（メタデータ） (2026-06-13T15:28:54Z) - Beyond Inference-Only Deployment: Comparing Weight-Based Consolidation Against Cascading Compaction [1.6214121783846343]
本研究は,1つのコンシューマ上でのLow-Rank Adaptation (LoRA)ファインチューニングにより,インタラクション知識をモデルウェイトに夜間に集約することを評価する。
10つの現実的なソフトウェア開発の会話の中で、カスケードのコンパクト化は36.8 +/-3.0%の知識を保持する。
LoRAは、相互作用知識を合成、合成、Low-Rank Adaptation (LoRA)ファインチューニングを通じてモデルウェイトに集約する。
論文 参考訳（メタデータ） (2026-05-23T16:57:25Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - A Tale of Two Variances: When Single-Seed Benchmarks Fail in Bayesian Deep Learning [10.891872788947298]
局所CRPS分散は単列推定誤差の直接信号を提供する。
パワーロー適合品質と単調性は、トラジェクトリ正則性のコンパクトなメソッドレベルの要約を提供する。
論文 参考訳（メタデータ） (2026-04-25T02:52:33Z) - Environment-Aware Indoor LoRaWAN Path Loss: Parametric Regression Comparisons, Shadow Fading, and Calibrated Fade Margins [3.776919981139063]
内部のLoRaWAN伝播は、構造的および時間的変化の文脈因子によって形成される。
リークセーフなクロスバリデーションを用いて評価した,環境に配慮した統計的に規律のある経路損失フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-05T20:14:48Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳（メタデータ） (2022-11-15T19:10:12Z) - Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。
RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。
その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1～3%の精度でテストできることがわかった。
論文 参考訳（メタデータ） (2022-06-03T02:26:24Z) - Label Distributionally Robust Losses for Multi-class Classification:
Consistency, Robustness and Adaptivity [55.29408396918968]
多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。
我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。
本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
論文 参考訳（メタデータ） (2021-12-30T00:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。