論文の概要: Calibration of Continual Learning Models

• arxiv url: http://arxiv.org/abs/2404.07817v2
• Date: Fri, 12 Apr 2024 12:33:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 12:17:41.965932
• Title: Calibration of Continual Learning Models
• Title（参考訳）: 連続学習モデルの校正
• Authors: Lanpei Li, Elia Piccoli, Andrea Cossu, Davide Bacciu, Vincenzo Lomonaco,
• Abstract要約: 連続学習(CL)は、非定常データストリームにわたるモデルの予測性能の最大化に重点を置いている。 モデルキャリブレーションは機械学習において活発な研究テーマであるが、CLでは適切に研究されていない。 CLにおけるキャリブレーションアプローチの挙動に関する最初の実証的研究を行い、CL戦略が本質的にキャリブレーションモデルを学習しないことを示す。
• 参考スコア（独自算出の注目度）: 18.547902778976084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) focuses on maximizing the predictive performance of a model across a non-stationary stream of data. Unfortunately, CL models tend to forget previous knowledge, thus often underperforming when compared with an offline model trained jointly on the entire data stream. Given that any CL model will eventually make mistakes, it is of crucial importance to build calibrated CL models: models that can reliably tell their confidence when making a prediction. Model calibration is an active research topic in machine learning, yet to be properly investigated in CL. We provide the first empirical study of the behavior of calibration approaches in CL, showing that CL strategies do not inherently learn calibrated models. To mitigate this issue, we design a continual calibration approach that improves the performance of post-processing calibration methods over a wide range of different benchmarks and CL strategies. CL does not necessarily need perfect predictive models, but rather it can benefit from reliable predictive models. We believe our study on continual calibration represents a first step towards this direction.
• Abstract（参考訳）: 連続学習(CL)は、非定常データストリームにわたるモデルの予測性能の最大化に重点を置いている。 残念ながら、CLモデルは以前の知識を忘れる傾向があるため、データストリーム全体を共同でトレーニングしたオフラインモデルと比較すると、しばしばパフォーマンスが低下する。 どんなCLモデルでも最終的にミスを犯すことを考えると、キャリブレーションされたCLモデルを構築することが重要である。 モデルキャリブレーションは機械学習において活発な研究テーマであるが、CLでは適切に研究されていない。 CLにおけるキャリブレーションアプローチの挙動に関する最初の実証的研究を行い、CL戦略が本質的にキャリブレーションモデルを学習しないことを示す。 この問題を軽減するために,さまざまなベンチマークやCL戦略を用いて,後処理キャリブレーション手法の性能を向上させるための連続キャリブレーション手法を設計する。 CLは必ずしも完全な予測モデルを必要としないが、信頼性のある予測モデルの恩恵を受けることができる。 連続キャリブレーションの研究は、この方向への第一歩だと我々は信じている。

関連論文リスト

• Calibrating Multi-modal Representations: A Pursuit of Group Robustness without Annotations [19.800907485589402]
  CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。 これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。 微調整CLIPのための軽量表現校正法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T01:47:17Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• Calibration in Deep Learning: A Survey of the State-of-the-Art [7.6087138685470945]
  ディープニューラルネットワークのキャリブレーションは、安全クリティカルなアプリケーションにおいて、信頼性が高く堅牢なAIシステムを構築する上で重要な役割を果たす。 近年の研究では、予測能力の高い現代のニューラルネットワークは、キャリブレーションが不十分であり、信頼性の低いモデル予測を生成することが示されている。
  論文  参考訳（メタデータ） (2023-08-02T15:28:10Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models [58.720142291102135]
  プロンプト、データセット、アーキテクチャといった関連する変数のキャリブレーションを測定し、CLIPによるゼロショット推論が誤校正されていることを見つけます。 学習した1つの温度は、推論データセットにまたがって特定のCLIPモデルごとに一般化され、選択が促される。
  論文  参考訳（メタデータ） (2023-03-11T17:14:04Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• Do Pre-trained Models Benefit Equally in Continual Learning? [25.959813589169176]
  既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。 コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。 本稿では,CLに対する事前学習の体系的導入を提唱する。
  論文  参考訳（メタデータ） (2022-10-27T18:03:37Z)
• Modular Conformal Calibration [80.33410096908872]
  回帰における再校正のためのアルゴリズムを多種多様なクラスで導入する。 このフレームワークは、任意の回帰モデルをキャリブレーションされた確率モデルに変換することを可能にする。 我々は17の回帰データセットに対するMCCの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-06-23T03:25:23Z)
• Quantile Regularization: Towards Implicit Calibration of Regression Models [30.872605139672086]
  2つのCDF間の累積KL分散として定義される新しい量子正規化器に基づく回帰モデルの校正法を提案する。 提案手法は,Dropout VI や Deep Ensembles といった手法を用いて学習した回帰モデルのキャリブレーションを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2020-02-28T16:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。