論文の概要: Adaptive Calibrator Ensemble for Model Calibration under Distribution Shift

• arxiv url: http://arxiv.org/abs/2303.05331v1
• Date: Thu, 9 Mar 2023 15:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 14:23:38.364106
• Title: Adaptive Calibrator Ensemble for Model Calibration under Distribution Shift
• Title（参考訳）: 分布シフトを考慮したモデルキャリブレーションのための適応キャリブレータアンサンブル
• Authors: Yuli Zou, Weijian Deng, Liang Zheng
• Abstract要約: アダプティブ・キャリブレータ・アンサンブル(ACE)は、通常はキャリブレーション・セットよりも難しいOODデータセットをキャリブレーション・セットに分類する。 ACEは一般に、一連のOODベンチマークにおけるいくつかの最先端のキャリブレーション方式の性能を改善している。
• 参考スコア（独自算出の注目度）: 23.794897699193875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model calibration usually requires optimizing some parameters (e.g., temperature) w.r.t an objective function (e.g., negative log-likelihood). In this paper, we report a plain, important but often neglected fact that the objective function is influenced by calibration set difficulty, i.e., the ratio of the number of incorrectly classified samples to that of correctly classified samples. If a test set has a drastically different difficulty level from the calibration set, the optimal calibration parameters of the two datasets would be different. In other words, a calibrator optimal on the calibration set would be suboptimal on the OOD test set and thus has degraded performance. With this knowledge, we propose a simple and effective method named adaptive calibrator ensemble (ACE) to calibrate OOD datasets whose difficulty is usually higher than the calibration set. Specifically, two calibration functions are trained, one for in-distribution data (low difficulty), and the other for severely OOD data (high difficulty). To achieve desirable calibration on a new OOD dataset, ACE uses an adaptive weighting method that strikes a balance between the two extreme functions. When plugged in, ACE generally improves the performance of a few state-of-the-art calibration schemes on a series of OOD benchmarks. Importantly, such improvement does not come at the cost of the in-distribution calibration accuracy.
• Abstract（参考訳）: モデルキャリブレーションは通常、あるパラメータ(例えば温度)を客観的関数(例えば負の対数類似度)に最適化する必要がある。 本稿では, 対象関数がキャリブレーションセットの難易度, すなわち, 誤分類サンプル数と正しく分類されたサンプル数との比率に影響されているという, 単純かつ重要かつしばしば無視される事実を報告する。 テストセットがキャリブレーションセットと大きく異なる難易度を持つ場合、2つのデータセットの最適なキャリブレーションパラメータが異なる。 言い換えれば、キャリブレーションセット上で最適であるキャリブレータは、oodテストセット上では準最適であり、したがって性能が低下する。 そこで本研究では, 適応校正器アンサンブル(ACE)という, キャリブレーションセットよりも難易度が高いOODデータセットの校正方法を提案する。 具体的には、2つのキャリブレーション関数をトレーニングし、1つは流通内データ(低難易度)、もう1つはOODデータ(高難易度)をトレーニングする。 新しいOODデータセットのキャリブレーションのために、ACEは2つの極端な関数のバランスをとる適応重み付け方式を使用している。 ACEがプラグインされると、OODベンチマークのいくつかの最先端キャリブレーション方式の性能が向上する。 重要な点として、このような改善は流通内校正精度を犠牲にしない。

関連論文リスト

• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Optimizing Calibration by Gaining Aware of Prediction Correctness [30.619608580138802]
  クロスエントロピー(CE)損失はキャリブレータトレーニングに広く使われており、基底真理クラスに対する信頼を高めるためにモデルを強制する。 本稿では, キャリブレーションの目的から得られた, ポストホックキャリブレーションの新たなキャリブレーション手法を提案する。
  論文  参考訳（メタデータ） (2024-04-19T17:25:43Z)
• Deep Ensemble Shape Calibration: Multi-Field Post-hoc Calibration in Online Advertising [8.441925127670308]
  eコマース広告のシナリオでは、Click-Through Rate(CTR)とConversion Rate(CVR)に基づいて真の確率(キャリブレーションされた見積)を推定することが重要である。 従来の研究では、キャリブレーション問題に対処するためのソリューションが数多く導入されている。 本稿では,関数表現機能とデータ利用機能の両方を強化する革新的な基底キャリブレーション機能を提案する。
  論文  参考訳（メタデータ） (2024-01-17T11:41:11Z)
• Causal isotonic calibration for heterogeneous treatment effects [0.5249805590164901]
  異種治療効果の予測因子を校正する新しい非パラメトリック手法である因果等方性キャリブレーションを提案する。 また、データ効率の良いキャリブレーションの変種であるクロスキャリブレーションを導入し、ホールドアウトキャリブレーションセットの必要性を排除した。
  論文  参考訳（メタデータ） (2023-02-27T18:07:49Z)
• A Unifying Theory of Distance from Calibration [9.959025631339982]
  完璧なキャリブレーションからの距離を定量化する方法については合意がない。 本研究では, キャリブレーションからの距離に関する基礎的な概念を提案する。 フレームワークの適用により、一貫性があり、効率的に推定できる3つのキャリブレーションを識別する。
  論文  参考訳（メタデータ） (2022-11-30T10:38:24Z)
• T-Cal: An optimal test for the calibration of predictive models [49.11538724574202]
  有限検証データセットを用いた予測モデルの誤校正を仮説検証問題として検討する。 誤校正の検出は、クラスの条件付き確率が予測の十分滑らかな関数である場合にのみ可能である。 我々は、$ell$-Expected Error(ECE)のデバイアスドプラグイン推定器に基づくキャリブレーションのためのミニマックステストであるT-Calを提案する。
  論文  参考訳（メタデータ） (2022-03-03T16:58:54Z)
• Localized Calibration: Metrics and Recalibration [133.07044916594361]
  完全大域キャリブレーションと完全個別化キャリブレーションのギャップにまたがる細粒度キャリブレーション指標を提案する。 次に,局所再校正法であるLoReを導入し,既存の校正法よりもLCEを改善する。
  論文  参考訳（メタデータ） (2021-02-22T07:22:12Z)
• Uncertainty Quantification and Deep Ensembles [79.4957965474334]
  ディープアンサンブルが必ずしもキャリブレーション特性の改善につながるとは限らないことを示す。 そこで本研究では,混成正規化などの現代的な手法と併用して標準アンサンブル法を用いることで,キャリブレーションの少ないモデルが得られることを示す。 このテキストは、データが不足しているときにディープラーニングを活用するために、最も単純で一般的な3つのアプローチの相互作用を調べる。
  論文  参考訳（メタデータ） (2020-07-17T07:32:24Z)
• Unsupervised Calibration under Covariate Shift [92.02278658443166]
  ドメインシフト下でのキャリブレーションの問題を導入し、それに対処するための重要サンプリングに基づくアプローチを提案する。 実世界のデータセットと合成データセットの両方において,本手法の有効性を評価し検討した。
  論文  参考訳（メタデータ） (2020-06-29T21:50:07Z)
• Calibration of Pre-trained Transformers [55.57083429195445]
  本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
  論文  参考訳（メタデータ） (2020-03-17T18:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。