論文の概要: Calibrate to Interpret

• arxiv url: http://arxiv.org/abs/2207.03324v1
• Date: Thu, 7 Jul 2022 14:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 13:59:47.716258
• Title: Calibrate to Interpret
• Title（参考訳）: Calibrate (複数形 Calibrates)
• Authors: Gregory Scafarto, Nicolas Posocco and Antoine Bonnefoy
• Abstract要約: キャリブレーションと解釈の関係について検討することにより,不確実性と説明可能性の第一の関連性を示す。 画像分類タスクで訓練されたネットワークの文脈において、どの程度解釈が信頼度校正に敏感であるかを示す。 これは、解釈結果を改善するための簡単なプラクティスを提案することにつながります: Calibrate to Interpret。
• 参考スコア（独自算出の注目度）: 0.966840768820136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy machine learning is driving a large number of ML community works in order to improve ML acceptance and adoption. The main aspect of trustworthy machine learning are the followings: fairness, uncertainty, robustness, explainability and formal guaranties. Each of these individual domains gains the ML community interest, visible by the number of related publications. However few works tackle the interconnection between these fields. In this paper we show a first link between uncertainty and explainability, by studying the relation between calibration and interpretation. As the calibration of a given model changes the way it scores samples, and interpretation approaches often rely on these scores, it seems safe to assume that the confidence-calibration of a model interacts with our ability to interpret such model. In this paper, we show, in the context of networks trained on image classification tasks, to what extent interpretations are sensitive to confidence-calibration. It leads us to suggest a simple practice to improve the interpretation outcomes: Calibrate to Interpret.
• Abstract（参考訳）: 信頼できる機械学習は、MLの受け入れと採用を改善するために、多くのMLコミュニティの作業を推進している。 信頼できる機械学習の主な側面は、公正性、不確実性、堅牢性、説明可能性、正式な保証である。 それぞれのドメインはMLコミュニティの関心を集め、関連する出版物の数によって見ることができる。 しかし、これらの分野間の相互接続に取り組む作品はほとんどない。 本稿では,キャリブレーションと解釈の関係を考察し,不確実性と説明可能性の関係について述べる。 モデルのキャリブレーションはサンプルのスコアの方法を変え、解釈アプローチはしばしばこれらのスコアに依存するので、モデルの信頼度校正がそのようなモデルを解釈する能力と相互作用すると考えるのは安全である。 本稿では,画像分類タスクで訓練されたネットワークの文脈において,信頼度校正に敏感な解釈の程度について述べる。 これは、解釈結果を改善するための簡単なプラクティスを提案することにつながります: Calibrate to Interpret。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Function Composition in Trustworthy Machine Learning: Implementation Choices, Insights, and Questions [28.643482049799477]
  本稿では,信頼感の異なる「柱」から生じる機能の構成に焦点を当てる。 実世界の信頼に値する7つの次元 - 公正さと説明可能性 - に関する実験結果と新たな知見を報告する。 また,複数の柱からの機能の組み合わせを促すために,作曲家ツールの進捗状況と実装選択について報告する。
  論文  参考訳（メタデータ） (2023-02-17T23:49:16Z)
• DOMINO: Domain-aware Model Calibration in Medical Image Segmentation [51.346121016559024]
  現代のディープニューラルネットワークはキャリブレーションが不十分で、信頼性と信頼性を損なう。 本稿では,クラスラベル間のセマンティック・コンフューザビリティと階層的類似性を利用したドメイン認識モデルキャリブレーション手法であるDOMINOを提案する。 その結果,DOMINOを校正したディープニューラルネットワークは,頭部画像分割における非校正モデルや最先端形態計測法よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-13T15:31:52Z)
• Intuitively Assessing ML Model Reliability through Example-Based Explanations and Editing Model Inputs [19.09848738521126]
  解釈可能性メソッドは、機械学習モデルの能力に対する信頼の構築と理解を支援することを目的とする。 モデル信頼性をより直感的に評価するための2つのインターフェースモジュールを紹介します。
  論文  参考訳（メタデータ） (2021-02-17T02:41:32Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Getting a CLUE: A Method for Explaining Uncertainty Estimates [30.367995696223726]
  微分可能確率モデルからの不確実性推定を解釈する新しい手法を提案する。 提案手法は,データ多様体上に保持しながら,入力の変更方法を示す。
  論文  参考訳（メタデータ） (2020-06-11T21:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。