論文の概要: Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2512.20634v1
• Date: Tue, 02 Dec 2025 03:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 00:37:57.103561
• Title: Real Time Detection and Quantitative Analysis of Spurious Forgetting in Continual Learning
• Title（参考訳）: 連続学習におけるスパーラスフォーミングのリアルタイム検出と定量的解析
• Authors: Weiwei Wang,
• Abstract要約: 破滅的な忘れは、大きな言語モデルの継続的な学習における根本的な課題である。 最近の研究によると、性能劣化は真の知識喪失よりも、タスクアライメントの破壊によって引き起こされる急激な忘れ物に起因している可能性がある。 浅層・深層アライメントの枠組みを導入し,アライメント深さの定量的評価を行った。
• 参考スコア（独自算出の注目度）: 2.7693880446662695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting remains a fundamental challenge in continual learning for large language models. Recent work revealed that performance degradation may stem from spurious forgetting caused by task alignment disruption rather than true knowledge loss. However, this work only qualitatively describes alignment, relies on post-hoc analysis, and lacks automatic distinction mechanisms. We introduce the shallow versus deep alignment framework, providing the first quantitative characterization of alignment depth. We identify that current task alignment approaches suffer from shallow alignment - maintained only over the first few output tokens (approximately 3-5) - making models vulnerable to forgetting. This explains why spurious forgetting occurs, why it is reversible, and why fine-tuning attacks are effective. We propose a comprehensive framework addressing all gaps: (1) quantitative metrics (0-1 scale) to measure alignment depth across token positions; (2) real-time detection methods for identifying shallow alignment during training; (3) specialized analysis tools for visualization and recovery prediction; and (4) adaptive mitigation strategies that automatically distinguish forgetting types and promote deep alignment. Extensive experiments on multiple datasets and model architectures (Qwen2.5-3B to Qwen2.5-32B) demonstrate 86.2-90.6% identification accuracy and show that promoting deep alignment improves robustness against forgetting by 3.3-7.1% over baselines.
• Abstract（参考訳）: 破滅的な忘れは、大きな言語モデルの継続的な学習における根本的な課題である。 最近の研究によると、性能劣化は真の知識喪失よりも、タスクアライメントの破壊によって引き起こされる急激な忘れ物に起因している可能性がある。 しかし、この研究は、アライメントを質的にのみ記述し、ポストホック解析に依存し、自動区別機構を欠いている。 浅層・深層アライメントの枠組みを導入し,アライメント深さの定量的評価を行った。 現在のタスクアライメントアプローチでは,最初の数個のアウトプットトークン(約3～5)でのみ維持されるような,アライメントの浅さに悩まされています。 このことは、なぜ急激な忘れ事が起こるのか、なぜそれが可逆であるのか、そしてなぜ微調整攻撃が効果的であるかを説明する。 本研究では,(1)トークン位置間のアライメント深度を測定する量的指標(0-1スケール),(2)トレーニング中の浅層アライメントを識別するリアルタイム検出方法,(3)可視化とリカバリ予測のための特殊な分析ツール,(4)無視型を自動的に識別し,深部アライメントを促進する適応緩和戦略を提案する。 複数のデータセットとモデルアーキテクチャに関する大規模な実験(Qwen2.5-3BからQwen2.5-32B)は、86.2-90.6%の識別精度を示し、深いアライメントを促進することで、ベースラインよりも3.3-7.1%の精度で忘れることに対する堅牢性を改善することを示した。

関連論文リスト

• WALDO: Where Unseen Model-based 6D Pose Estimation Meets Occlusion [13.760323763554448]
  モデルに基づく6次元ポーズ推定法に対する4つの新しい拡張を提案する。 提案手法は,IABINの精度が5%以上向上し,BOPデータセットのベンチマークでは2%以上向上していることを示す。
  論文  参考訳（メタデータ） (2025-11-19T21:01:49Z)
• Unlearning Isn't Deletion: Investigating Reversibility of Machine Unlearning in LLMs [38.837810490068556]
  大規模言語モデル(LLM)におけるアンラーニングは、指定されたデータを削除することを目的としているが、その効果は通常、正確性や複雑度のようなタスクレベルのメトリクスで評価される。 最小限の微調整によって元の動作が容易に復元される間、モデルは忘れることができることを実証する。 この表現可能性の現象は、情報は単に抑圧されているだけであり、真に消去されていないことを示唆している。
  論文  参考訳（メタデータ） (2025-05-22T16:02:10Z)
• Typicalness-Aware Learning for Failure Detection [26.23185979968123]
  ディープニューラルネットワーク(DNN)は、しばしば自信過剰な問題に悩まされる。 そこで本研究では,本問題に対処し,故障検出性能を向上させるために,S typicalness-Aware Learning (TAL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T11:09:47Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling [38.07637524378327]
  ドメイン適応型3Dオブジェクト検出において,疑似ラベリング技術を用いた教師なしドメイン適応(DA)が重要なアプローチとして浮上している。 既存のDAメソッドは、マルチクラスのトレーニング環境に適用した場合、パフォーマンスが大幅に低下する。 本稿では,すべてのクラスを一度に検出する学習に適した新しいReDBフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-16T04:34:11Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Geometry Uncertainty Projection Network for Monocular 3D Object Detection [138.24798140338095]
  本稿では,予測および学習段階の誤り増幅問題に対処するために,幾何不確実性予測ネットワーク(GUP Net)を提案する。 具体的には, GUPモジュールを提案し, 推定深さの幾何誘導不確かさを求める。 トレーニング段階では,エラー増幅による不安定性を低減するための階層型タスク学習戦略を提案する。
  論文  参考訳（メタデータ） (2021-07-29T06:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。