論文の概要: U-Trustworthy Models.Reliability, Competence, and Confidence in
Decision-Making
- arxiv url: http://arxiv.org/abs/2401.02062v1
- Date: Thu, 4 Jan 2024 04:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 15:55:28.014190
- Title: U-Trustworthy Models.Reliability, Competence, and Confidence in
Decision-Making
- Title（参考訳）: 意思決定における信頼性, 能力, 信頼性
- Authors: Ritwik Vashistha, Arya Farahi
- Abstract要約: 信頼性の正確な数学的定義を$mathcalU$-trustworthinessと呼ぶ。
$mathcalU$-trustworthinessの文脈において、適切にランク付けされたモデルは本質的に$mathcalU$-trustworthyであることが証明される。
我々は、信頼度を優先する尺度として、AUCメートル法の採用を提唱する。
- 参考スコア（独自算出の注目度）: 0.21756081703275998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With growing concerns regarding bias and discrimination in predictive models,
the AI community has increasingly focused on assessing AI system
trustworthiness. Conventionally, trustworthy AI literature relies on the
probabilistic framework and calibration as prerequisites for trustworthiness.
In this work, we depart from this viewpoint by proposing a novel trust
framework inspired by the philosophy literature on trust. We present a precise
mathematical definition of trustworthiness, termed
$\mathcal{U}$-trustworthiness, specifically tailored for a subset of tasks
aimed at maximizing a utility function. We argue that a model's
$\mathcal{U}$-trustworthiness is contingent upon its ability to maximize Bayes
utility within this task subset. Our first set of results challenges the
probabilistic framework by demonstrating its potential to favor less
trustworthy models and introduce the risk of misleading trustworthiness
assessments. Within the context of $\mathcal{U}$-trustworthiness, we prove that
properly-ranked models are inherently $\mathcal{U}$-trustworthy. Furthermore,
we advocate for the adoption of the AUC metric as the preferred measure of
trustworthiness. By offering both theoretical guarantees and experimental
validation, AUC enables robust evaluation of trustworthiness, thereby enhancing
model selection and hyperparameter tuning to yield more trustworthy outcomes.
- Abstract（参考訳）: 予測モデルにおけるバイアスと差別に関する懸念が高まり、AIコミュニティはAIシステムの信頼性を評価することに注力している。
従来、信頼できるai文学は、信頼性の前提条件として確率的枠組みとキャリブレーションに依存する。
本論では,信頼に関する哲学文献から着想を得た新しい信頼枠組みを提案することにより,この視点から出発する。
信頼性の正確な数学的定義を$\mathcal{U}$-trustworthinessと呼び、実用関数の最大化を目的としたタスクのサブセットに特化する。
我々は、モデルの$\mathcal{u}$-trustworthinessは、このタスクサブセット内でベイズユーティリティを最大化する能力に起因していると主張する。
第1セットの結果は,信頼度の低いモデルを支持する可能性を示し,信頼度評価を誤解させるリスクを導入することで,確率的枠組みに挑戦する。
$\mathcal{U}$-trustworthiness の文脈において、適切にランク付けされたモデルは本質的に $\mathcal{U}$-trustworthy であることが証明される。
さらに,信頼度を優先する指標として,aucメトリクスの採用を提唱する。
理論的保証と実験的検証の両方を提供することにより、AUCは信頼性の堅牢な評価を可能にし、モデル選択とハイパーパラメータチューニングを強化し、より信頼性の高い結果が得られる。
関連論文リスト
- On the Trustworthiness of Generative Foundation Models: Guideline, Assessment, and Perspective [314.7991906491166]
Generative Foundation Models (GenFMs) がトランスフォーメーションツールとして登場した。
彼らの広く採用されていることは、次元の信頼に関する重要な懸念を提起する。
本稿では,3つの主要なコントリビューションを通じて,これらの課題に対処するための包括的枠組みを提案する。
論文 参考訳（メタデータ） (2025-02-20T06:20:36Z) - I-trustworthy Models. A framework for trustworthiness evaluation of probabilistic classifiers [0.18416014644193066]
この研究は、推論タスクの確率論の信頼性を評価するための新しいフレームワークである、信頼に値するフレームワークを定式化する。
I-trustworthinessを評価するために,局所校正誤差(LCE)を用いて仮説検証法を開発した。
誤診の場合のバイアスを識別し,測定するための診断ツールを提案する。
論文 参考訳（メタデータ） (2025-01-26T17:54:43Z) - Quantifying calibration error in modern neural networks through evidence based theory [0.0]
本稿では、予測エラー(ECE)の評価に主観的論理を組み込むことにより、ニューラルネットワークの信頼性を定量化する新しい枠組みを提案する。
我々は,MNISTおよびCIFAR-10データセットを用いた実験により,信頼性が向上したことを示す。
提案されたフレームワークは、医療や自律システムといったセンシティブな分野における潜在的な応用を含む、AIモデルのより解釈可能でニュアンスな評価を提供する。
論文 参考訳（メタデータ） (2024-10-31T23:54:21Z) - Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
信頼性・確率アライメントの概念を紹介します。
モデルの内部と信頼感の一致を調査する。
分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
論文 参考訳（メタデータ） (2024-05-25T15:42:04Z) - Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression [109.23761449840222]
本研究は,Large Language Models (LLM) の最初の完全評価を行う。
量子化は現在、効率性と信頼性を同時に達成する上で、プルーニングよりも効果的なアプローチであることが分かっています。
論文 参考訳（メタデータ） (2024-03-18T01:38:19Z) - Did You Mean...? Confidence-based Trade-offs in Semantic Parsing [52.28988386710333]
タスク指向の構文解析において、キャリブレーションモデルが共通のトレードオフのバランスを取るのにどのように役立つかを示す。
次に、信頼性スコアがユーザビリティと安全性のトレードオフを最適化する上で、どのように役立つかを検証します。
論文 参考訳（メタデータ） (2023-03-29T17:07:26Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-06T08:57:20Z) - MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator [0.17188280334580192]
我々は、標準的な機械学習ポイント予測アルゴリズムに基づく信頼度推定は、基本的に欠陥があると主張している。
MACEstは信頼性と信頼性の高い信頼度推定を提供するモデル非依存信頼度推定器である。
論文 参考訳（メタデータ） (2021-09-02T14:34:06Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Insights into Fairness through Trust: Multi-scale Trust Quantification
for Financial Deep Learning [94.65749466106664]
金融深層学習において探求されていない公平性の基本的な側面は、信頼の概念である。
クレジットカードのデフォルト予測のために,ディープニューラルネットワーク上でマルチスケール信頼度定量化を行う。
論文 参考訳（メタデータ） (2020-11-03T19:05:07Z) - Where Does Trust Break Down? A Quantitative Trust Analysis of Deep
Neural Networks via Trust Matrix and Conditional Trust Densities [94.65749466106664]
本稿では,新しい信頼量化戦略である信頼行列の概念を紹介する。
信頼行列は、所定のアクター・オークル回答シナリオに対して期待される質問・回答信頼を定義する。
我々は、条件付き信頼密度の概念により、信頼密度の概念をさらに拡張する。
論文 参考訳（メタデータ） (2020-09-30T14:33:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。