論文の概要: I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers

• arxiv url: http://arxiv.org/abs/2501.15617v1
• Date: Sun, 26 Jan 2025 17:54:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:14.594284
• Title: I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers
• Title（参考訳）: 確率的分類器の信頼性評価のための枠組み
• Authors: Ritwik Vashistha, Arya Farahi,
• Abstract要約: この研究は、推論タスクの確率論の信頼性を評価するための新しいフレームワークである、信頼に値するフレームワークを定式化する。 I-trustworthinessを評価するために,局所校正誤差(LCE)を用いて仮説検証法を開発した。 誤診の場合のバイアスを識別し,測定するための診断ツールを提案する。
• 参考スコア（独自算出の注目度）: 0.18416014644193066
• License:
• Abstract: As probabilistic models continue to permeate various facets of our society and contribute to scientific advancements, it becomes a necessity to go beyond traditional metrics such as predictive accuracy and error rates and assess their trustworthiness. Grounded in the competence-based theory of trust, this work formalizes I-trustworthy framework -- a novel framework for assessing the trustworthiness of probabilistic classifiers for inference tasks by linking local calibration to trustworthiness. To assess I-trustworthiness, we use the local calibration error (LCE) and develop a method of hypothesis-testing. This method utilizes a kernel-based test statistic, Kernel Local Calibration Error (KLCE), to test local calibration of a probabilistic classifier. This study provides theoretical guarantees by offering convergence bounds for an unbiased estimator of KLCE. Additionally, we present a diagnostic tool designed to identify and measure biases in cases of miscalibration. The effectiveness of the proposed test statistic is demonstrated through its application to both simulated and real-world datasets. Finally, LCE of related recalibration methods is studied, and we provide evidence of insufficiency of existing methods to achieve I-trustworthiness.
• Abstract（参考訳）: 確率論的モデルが我々の社会の様々な側面に浸透し、科学的進歩に寄与し続けるにつれ、予測精度や誤差率といった従来の指標を超越し、信頼性を評価する必要がある。 能力に基づく信頼の理論に基づいて、この研究はI-trustworthy frameworkを定式化し、局所的なキャリブレーションと信頼性をリンクすることで、推論タスクに対する確率的分類器の信頼性を評価する新しいフレームワークである。 I-trustworthinessを評価するために,局所校正誤差(LCE)を用いて仮説検証法を開発した。 この方法はカーネルベースのテスト統計量であるKernel Local Calibration Error(KLCE)を用いて確率的分類器の局所校正をテストする。 この研究は、KLCEの非バイアス推定器に対して収束境界を提供することによって理論的保証を与える。 また,誤診の場合のバイアスを識別し,測定するための診断ツールを提案する。 提案したテスト統計の有効性は、シミュレーションと実世界のデータセットの両方に適用することで実証される。 最後に、関連する再校正手法のLCEについて検討し、I-トラストネスを達成するために既存の方法が不十分であることを示す。

関連論文リスト

• Distribution-Free Calibration of Statistical Confidence Sets [2.283561089098417]
  本研究では,TRUSTとTRUST++という2つの新しい手法を導入する。 我々は,本手法が既存のアプローチ,特に小サンプル方式よりも優れていることを実証した。
  論文  参考訳（メタデータ） (2024-11-28T20:45:59Z)
• Quantifying calibration error in modern neural networks through evidence based theory [0.0]
  本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。 我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。 提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
  論文  参考訳（メタデータ） (2024-10-31T23:54:21Z)
• Beyond Calibration: Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence [2.2359781747539396]
  ディープネットワークは、しばしば過剰な自信と不一致な予測分布に悩まされる。 本稿では,条件付きカーネルの平均埋め込みを用いて,学習した予測分布とデータセットにおける経験的条件分布との距離を推定する,条件付きコングルーエンス誤差(CCE)について紹介する。 本研究では,1)データ生成プロセスが知られている場合の分布間の不一致を正確に定量化し,2)実世界の高次元画像回帰タスクに効果的にスケールし,3)未知のインスタンス上でのモデルの信頼性を評価することができることを示す。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Model-free generalized fiducial inference [0.0]
  本稿では,不正確な確率的予測推定のためのモデルフリー統計フレームワークの提案と開発を行う。 このフレームワークは、タイプ1エラーの有限サンプル制御を提供する予測セットの形式での不確実性定量化を促進する。 モデルフリー不正確なフレームワークに対する正確な確率近似の理論的および経験的特性について考察する。
  論文  参考訳（メタデータ） (2023-07-24T01:58:48Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
  我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。 MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
  論文  参考訳（メタデータ） (2021-09-02T14:34:06Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。