論文の概要: T-CIL: Temperature Scaling using Adversarial Perturbation for Calibration in Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2503.22163v1
• Date: Fri, 28 Mar 2025 06:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:28:43.311067
• Title: T-CIL: Temperature Scaling using Adversarial Perturbation for Calibration in Class-Incremental Learning
• Title（参考訳）: T-CIL: 対向摂動を用いたクラスインクリメンタル学習における校正のための温度スケーリング
• Authors: Seong-Hyeon Hwang, Minsu Kim, Steven Euijong Whang,
• Abstract要約: 本研究では,クラス増分学習におけるモデルの信頼性校正について検討する。 ポストホック校正技術の多くは、クラス増分学習に典型的な古いタスクデータの限られた記憶を扱うように設計されていない。 本稿では,T-CILを提案する。T-CILは,従来のタスクに対する検証セットを使わずに,クラス増分学習のための新しい温度スケーリング手法である。
• 参考スコア（独自算出の注目度）: 27.247270530020664
• License:
• Abstract: We study model confidence calibration in class-incremental learning, where models learn from sequential tasks with different class sets. While existing works primarily focus on accuracy, maintaining calibrated confidence has been largely overlooked. Unfortunately, most post-hoc calibration techniques are not designed to work with the limited memories of old-task data typical in class-incremental learning, as retaining a sufficient validation set would be impractical. Thus, we propose T-CIL, a novel temperature scaling approach for class-incremental learning without a validation set for old tasks, that leverages adversarially perturbed exemplars from memory. Directly using exemplars is inadequate for temperature optimization, since they are already used for training. The key idea of T-CIL is to perturb exemplars more strongly for old tasks than for the new task by adjusting the perturbation direction based on feature distance, with the single magnitude determined using the new-task validation set. This strategy makes the perturbation magnitude computed from the new task also applicable to old tasks, leveraging the tendency that the accuracy of old tasks is lower than that of the new task. We empirically show that T-CIL significantly outperforms various baselines in terms of calibration on real datasets and can be integrated with existing class-incremental learning techniques with minimal impact on accuracy.
• Abstract（参考訳）: 本研究では,クラス増分学習におけるモデルの信頼性校正について検討する。 既存の作業は主に正確性に重点を置いているが、キャリブレーションされた信頼性を維持することは概ね見過ごされている。 残念ながら、ほとんどのポストホック校正技術は、クラス増分学習で典型的な古いタスクデータの限られた記憶を扱うようには設計されていない。 そこで本稿では,従来のタスクに対する検証セットを持たないクラス増分学習のための新しい温度スケーリング手法であるT-CILを提案する。 例題を直接使うのは、すでにトレーニングに使われているため、温度最適化には不十分である。 T-CILの鍵となる考え方は、特徴距離に基づいて摂動方向を調整し、新しいタスクよりも古いタスクをより強く摂動することである。 この戦略は、新しいタスクから計算される摂動の大きさを古いタスクにも適用し、古いタスクの精度が新しいタスクよりも低い傾向を活用する。 実験により、T-CILは実際のデータセットのキャリブレーションにおいて、様々なベースラインを著しく上回り、精度に最小限の影響を与える既存のクラスインクリメンタル学習技術と統合できることを実証的に示す。

関連論文リスト

• Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T13:57:30Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification [57.36281142038042]
  本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。 また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-06-20T15:25:08Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation [39.97128550414934]
  本稿では,ディープニューラルネットワークに基づく新しいクラスインクリメンタル学習手法を提案する。 以前のタスクの例を格納するためのメモリが限られている新しいタスクを継続的に学習する。 我々のアルゴリズムは知識蒸留に基づいており、古いモデルの表現を維持するための原則的な方法を提供する。
  論文  参考訳（メタデータ） (2022-04-02T16:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。