論文の概要: On Calibration and Out-of-domain Generalization

• arxiv url: http://arxiv.org/abs/2102.10395v1
• Date: Sat, 20 Feb 2021 17:24:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 14:53:04.048273
• Title: On Calibration and Out-of-domain Generalization
• Title（参考訳）: キャリブレーションと領域外一般化について
• Authors: Yoav Wald, Amir Feder, Daniel Greenfeld, Uri Shalit
• Abstract要約: 複数の領域にわたるキャリブレーションは、OODの一般化に繋がる不変表現の特別な場合と見なすことができる。 最近提案されたWILDS OODベンチマークの5つのデータセットを使用して、バリデーションセットで複数のドメインにまたがるモデルを再調整するだけで、目に見えないテストドメインのパフォーマンスが大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 17.587442088965226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-domain (OOD) generalization is a significant challenge for machine learning models. To overcome it, many novel techniques have been proposed, often focused on learning models with certain invariance properties. In this work, we draw a link between OOD performance and model calibration, arguing that calibration across multiple domains can be viewed as a special case of an invariant representation leading to better OOD generalization. Specifically, we prove in a simplified setting that models which achieve multi-domain calibration are free of spurious correlations. This leads us to propose multi-domain calibration as a measurable surrogate for the OOD performance of a classifier. An important practical benefit of calibration is that there are many effective tools for calibrating classifiers. We show that these tools are easy to apply and adapt for a multi-domain setting. Using five datasets from the recently proposed WILDS OOD benchmark we demonstrate that simply re-calibrating models across multiple domains in a validation set leads to significantly improved performance on unseen test domains. We believe this intriguing connection between calibration and OOD generalization is promising from a practical point of view and deserves further research from a theoretical point of view.
• Abstract（参考訳）: ドメイン外(OOD)一般化は機械学習モデルにとって重要な課題である。 これを解決するために、多くの新しい手法が提案され、しばしば特定の不変性を持つ学習モデルに焦点を当てている。 本研究では、OOD性能とモデルキャリブレーションのリンクを描き、複数のドメインにわたるキャリブレーションは、OOD一般化の改善につながる不変表現の特別なケースと見なすことができると主張している。 具体的には,マルチドメインキャリブレーションを実現するモデルにスプリアス相関がないことを単純化した。 これにより、分類器のOOD性能の測定可能なサロゲートとしてマルチドメインキャリブレーションを提案する。 校正の重要な実用上の利点は、分類器の校正に有効なツールが多数存在することである。 これらのツールは、マルチドメイン設定に簡単に適用および適応できることを示します。 最近提案されたWILDS OODベンチマークの5つのデータセットを使用して、バリデーションセットで複数のドメインにまたがるモデルを再調整するだけで、目に見えないテストドメインのパフォーマンスが大幅に向上することを示した。 キャリブレーションとOOD一般化のこの興味深い関係は、実用的な観点から有望であり、理論的観点からさらに研究する価値があると考えています。

関連論文リスト

• Consistency-Guided Temperature Scaling Using Style and Content Information for Out-of-Domain Calibration [24.89907794192497]
  領域外キャリブレーション性能を向上させるために,整合性誘導温度スケーリング(CTS)を提案する。 私たちは、複数のドメイン設定でデータサンプルを適切に表現できる重要なコンポーネントであるスタイルとコンテントという2つの異なる側面を考慮に入れています。 これは、精度を損なうことなくソースドメインのみを使用することで実現でき、我々のスキームは様々な信頼できるAIシステムに直接適用できる。
  論文  参考訳（メタデータ） (2024-02-22T23:36:18Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
  本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。 我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。 その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-11-06T22:13:10Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• CATfOOD: Counterfactual Augmented Training for Improving Out-of-Domain Performance and Calibration [59.48235003469116]
  データの増大はOOD性能を継続的に向上させることを示す。 また, CF拡張モデルのキャリブレーションが容易な場合, 重要度を割り当てる場合, エントロピーがはるかに低いことを示す。
  論文  参考訳（メタデータ） (2023-09-14T16:16:40Z)
• Multiclass Confidence and Localization Calibration for Object Detection [4.119048608751183]
  ディープニューラルネットワーク(DNN)は、過信的な予測を行う傾向があり、調整が不十分である。 本稿では,現代の物体検出手法を校正するための新しい列車時手法を提案する。
  論文  参考訳（メタデータ） (2023-06-14T06:14:16Z)
• Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
  モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。 単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。 このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
  論文  参考訳（メタデータ） (2022-02-10T05:08:50Z)
• Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error [46.12703434199988]
  我々は、キャリブレーション品質を直接最適化できる、期待キャリブレーション誤差(DECE)のための新しい微分可能なサロゲートを導入する。 また、DECEを用いて検証セットの校正を最適化するメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-17T15:47:50Z)
• On the Dark Side of Calibration for Modern Neural Networks [65.83956184145477]
  予測キャリブレーション誤差(ECE)を予測信頼度と改善度に分解する。 正規化に基づくキャリブレーションは、モデルの信頼性を損なうことのみに焦点を当てる。 ラベルの平滑化やミキサアップなど,多くのキャリブレーション手法により,DNNの精度を低下させることで,DNNの有用性を低下させることがわかった。
  論文  参考訳（メタデータ） (2021-06-17T11:04:14Z)
• Calibration of Pre-trained Transformers [55.57083429195445]
  本研究ではBERTとRoBERTaに着目し,自然言語推論,パラフレーズ検出,コモンセンス推論という3つのタスクのキャリブレーションを分析した。 その結果,(1) 事前学習モデルを用いてドメイン内キャリブレーションを行う場合, ベースラインと比較して, ドメイン外キャリブレーション誤差が3.5倍も低いこと,(2) ドメイン内キャリブレーション誤差をさらに低減するために温度スケーリングが有効であること,および, ラベルスムーシングを用いて実証的不確実性を意図的に増大させることにより, ドメイン内キャリブレーション後部キャリブレーションを支援すること,などが示されている。
  論文  参考訳（メタデータ） (2020-03-17T18:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。