論文の概要: Calibration Meets Explanation: A Simple and Effective Approach for Model Confidence Estimates

• arxiv url: http://arxiv.org/abs/2211.03041v1
• Date: Sun, 6 Nov 2022 06:17:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 15:15:15.672359
• Title: Calibration Meets Explanation: A Simple and Effective Approach for Model Confidence Estimates
• Title（参考訳）: キャリブレーションと説明:モデル信頼度推定のためのシンプルで効果的なアプローチ
• Authors: Dongfang Li, Baotian Hu, Qingcai Chen
• Abstract要約: 本稿では,モデル説明を活用するCMEという手法を提案し,非帰納的属性に対するモデルの信頼性を低下させる。 我々は,2つの人気のある事前学習言語モデルを用いて,6つのデータセットに関する広範な実験を行った。 以上の結果から,モデル説明が後部推定の校正に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 21.017890579840145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Calibration strengthens the trustworthiness of black-box models by producing better accurate confidence estimates on given examples. However, little is known about if model explanations can help confidence calibration. Intuitively, humans look at important features attributions and decide whether the model is trustworthy. Similarly, the explanations can tell us when the model may or may not know. Inspired by this, we propose a method named CME that leverages model explanations to make the model less confident with non-inductive attributions. The idea is that when the model is not highly confident, it is difficult to identify strong indications of any class, and the tokens accordingly do not have high attribution scores for any class and vice versa. We conduct extensive experiments on six datasets with two popular pre-trained language models in the in-domain and out-of-domain settings. The results show that CME improves calibration performance in all settings. The expected calibration errors are further reduced when combined with temperature scaling. Our findings highlight that model explanations can help calibrate posterior estimates.
• Abstract（参考訳）: キャリブレーションは、ブラックボックスモデルの信頼性を高め、与えられた例に基づいてより正確な信頼度を推定する。 しかし、モデル説明が信頼性の校正に役立つかどうかはほとんど分かっていない。 直感的には、人間は重要な特徴の属性を見て、モデルが信頼できるかどうかを決定する。 同様に、モデルがいつ知っているかどうかを説明できる。 そこで本研究では,モデル説明を利用したCMEという手法を提案し,非帰納的属性に対するモデルの信頼性を低下させる。 モデルが高度に自信を持っていない場合、どのクラスの強い指示を識別することは困難であり、それゆえトークンはどのクラスにも高い帰属スコアを持たず、その逆もできない、という考えである。 ドメイン内およびドメイン外設定で2つの人気のあるトレーニング済み言語モデルを用いて、6つのデータセットに対して広範な実験を行う。 その結果、CMEは全ての設定におけるキャリブレーション性能を改善した。 温度スケーリングと組み合わせることで、予想される校正誤差はさらに低減される。 その結果,モデル説明が後方推定の校正に役立つことが明らかとなった。

関連論文リスト

• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Calibration in Deep Learning: A Survey of the State-of-the-Art [7.6087138685470945]
  ディープニューラルネットワークのキャリブレーションは、安全クリティカルなアプリケーションにおいて、信頼性が高く堅牢なAIシステムを構築する上で重要な役割を果たす。 近年の研究では、予測能力の高い現代のニューラルネットワークは、キャリブレーションが不十分であり、信頼性の低いモデル予測を生成することが示されている。
  論文  参考訳（メタデータ） (2023-08-02T15:28:10Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Why Calibration Error is Wrong Given Model Uncertainty: Using Posterior Predictive Checks with Deep Learning [0.0]
  キャリブレーション誤差とその変種が、モデルの不確実性によってほとんど常に正しくないことを示す。 このミスがいかにして悪いモデルへの信頼と良いモデルへの信頼につながるかを示します。
  論文  参考訳（メタデータ） (2021-12-02T18:26:30Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。