論文の概要: SAMix: Calibrated and Accurate Continual Learning via Sphere-Adaptive Mixup and Neural Collapse

• arxiv url: http://arxiv.org/abs/2510.15751v1
• Date: Fri, 17 Oct 2025 15:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.687655
• Title: SAMix: Calibrated and Accurate Continual Learning via Sphere-Adaptive Mixup and Neural Collapse
• Title（参考訳）: SAMix: Sphere-Adaptive MixupとNeural Collapseによる継続的学習の校正と精度向上
• Authors: Trung-Anh Dang, Vincent Nguyen, Ngoc-Son Vu, Christel Vrain,
• Abstract要約: Sphere-Adaptive Mixup (SAMix) は,神経崩壊に基づく手法に適した適応型混合戦略である。 SAMixは、ニューラル崩壊下の特徴空間の幾何学的性質に混合プロセスを適用し、より堅牢な正規化とアライメントを保証する。 実験の結果,SAMix は連続学習における SOTA 手法を超越し,性能を著しく向上し,モデルキャリブレーションも改善した。
• 参考スコア（独自算出の注目度）: 4.479834103607383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While most continual learning methods focus on mitigating forgetting and improving accuracy, they often overlook the critical aspect of network calibration, despite its importance. Neural collapse, a phenomenon where last-layer features collapse to their class means, has demonstrated advantages in continual learning by reducing feature-classifier misalignment. Few works aim to improve the calibration of continual models for more reliable predictions. Our work goes a step further by proposing a novel method that not only enhances calibration but also improves performance by reducing overconfidence, mitigating forgetting, and increasing accuracy. We introduce Sphere-Adaptive Mixup (SAMix), an adaptive mixup strategy tailored for neural collapse-based methods. SAMix adapts the mixing process to the geometric properties of feature spaces under neural collapse, ensuring more robust regularization and alignment. Experiments show that SAMix significantly boosts performance, surpassing SOTA methods in continual learning while also improving model calibration. SAMix enhances both across-task accuracy and the broader reliability of predictions, making it a promising advancement for robust continual learning systems.
• Abstract（参考訳）: ほとんどの連続的な学習方法は、忘れることの軽減と精度の向上に重点を置いているが、ネットワークキャリブレーションの重要性にもかかわらず、しばしばネットワークキャリブレーションの重要な側面を見落としている。 最終層の特徴がクラスに崩壊する現象であるニューラル崩壊は、特徴分類器のミスアライメントを減らして連続学習の利点を証明している。 より信頼性の高い予測のために連続モデルの校正を改善する作業はほとんどない。 本研究は, キャリブレーションを向上するだけでなく, 過信度を低減し, 忘れを軽減し, 精度を向上させる新しい手法を提案する。 Sphere-Adaptive Mixup (SAMix) は,神経崩壊に基づく手法に適した適応型混合戦略である。 SAMixは、ニューラル崩壊下の特徴空間の幾何学的性質に混合プロセスを適用し、より堅牢な正規化とアライメントを保証する。 実験の結果,SAMix は連続学習における SOTA 手法を超越し,性能を著しく向上し,モデルキャリブレーションも改善した。 SAMixは、タスク間の精度と予測の信頼性の両方を強化し、堅牢な連続学習システムにとって有望な進歩となる。

関連論文リスト

• Feature Clipping for Uncertainty Calibration [24.465567005078135]
  現代のディープニューラルネットワーク(DNN)は、しばしば過剰な自信に悩まされ、誤校正につながる。 この問題に対処するために,特徴クリッピング(FC)と呼ばれるポストホックキャリブレーション手法を提案する。 FCは特定の閾値に特徴値をクリップし、高い校正誤差サンプルのエントロピーを効果的に増加させる。
  論文  参考訳（メタデータ） (2024-10-16T06:44:35Z)
• Probabilistic Calibration by Design for Neural Network Regression [2.3020018305241337]
  本稿では,量子校正トレーニングと呼ばれる新しいエンドツーエンドモデルトレーニング手法を提案する。 57の回帰データセットを含む大規模実験において,本手法の性能を実証した。
  論文  参考訳（メタデータ） (2024-03-18T17:04:33Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• A Study on the Calibration of In-context Learning [27.533223818505682]
  In-context Learning (ICL) は静的言語モデルに適切なプロンプトで適応するための一般的な手法である。 また,ICL例の増加に伴い,モデルの誤校正が向上し,キャリブレーションの精度が向上することが確認された。 再校正手法について検討し,スケーリング結合キャリブレータが一貫した校正誤差を低減できることを見出した。
  論文  参考訳（メタデータ） (2023-12-07T03:37:39Z)
• Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
  画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。 不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。 クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
  論文  参考訳（メタデータ） (2023-07-08T21:16:41Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• On the Calibration of Pre-trained Language Models using Mixup Guided by Area Under the Margin and Saliency [47.90235939359225]
  モデルキャリブレーションをさらに改善する事前学習型言語モデルのための新しい混合戦略を提案する。 本手法は,ドメイン内およびドメイン外テストサンプルの強いベースラインと比較して,最小のキャリブレーション誤差を実現する。
  論文  参考訳（メタデータ） (2022-03-14T23:45:08Z)
• When and How Mixup Improves Calibration [19.11486078732542]
  多くの機械学習アプリケーションでは、モデルが予測の不確実性を正確に把握する信頼スコアを提供することが重要である。 本論文では,Mixupが2つの自然データモデルを用いてテキスト次元設定のキャリブレーションを改善することを理論的に証明する。 ラベルのないデータを組み込むことでモデルの校正が低下することもあるが、ミックスアップトレーニングを追加することで校正が改善される。
  論文  参考訳（メタデータ） (2021-02-11T22:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。