論文の概要: A Decision-driven Methodology for Designing Uncertainty-aware AI Self-Assessment
- arxiv url: http://arxiv.org/abs/2408.01301v1
- Date: Fri, 2 Aug 2024 14:43:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 13:07:59.481974
- Title: A Decision-driven Methodology for Designing Uncertainty-aware AI Self-Assessment
- Title（参考訳）: 不確実性を考慮したAI自己評価設計のための決定駆動手法
- Authors: Gregory Canal, Vladimir Leung, Philip Sage, Eric Heim, I-Jeng Wang,
- Abstract要約: 特定のAIシステムの予測が下流アプリケーションで意思決定者によって信頼できるかどうかは不明だ。
この原稿は、機械学習エンジニアとAIシステムユーザーが理想的な自己評価テクニックを選択するための実践的なガイドである。
- 参考スコア（独自算出の注目度）: 8.482630532500057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence (AI) has revolutionized decision-making processes and systems throughout society and, in particular, has emerged as a significant technology in high-impact scenarios of national interest. Yet, despite AI's impressive predictive capabilities in controlled settings, it still suffers from a range of practical setbacks preventing its widespread use in various critical scenarios. In particular, it is generally unclear if a given AI system's predictions can be trusted by decision-makers in downstream applications. To address the need for more transparent, robust, and trustworthy AI systems, a suite of tools has been developed to quantify the uncertainty of AI predictions and, more generally, enable AI to "self-assess" the reliability of its predictions. In this manuscript, we categorize methods for AI self-assessment along several key dimensions and provide guidelines for selecting and designing the appropriate method for a practitioner's needs. In particular, we focus on uncertainty estimation techniques that consider the impact of self-assessment on the choices made by downstream decision-makers and on the resulting costs and benefits of decision outcomes. To demonstrate the utility of our methodology for self-assessment design, we illustrate its use for two realistic national-interest scenarios. This manuscript is a practical guide for machine learning engineers and AI system users to select the ideal self-assessment techniques for each problem.
- Abstract（参考訳）: 人工知能(AI)は社会全体で意思決定プロセスやシステムに革命をもたらしており、特に国家の関心の高影響シナリオにおいて重要な技術として現れている。
しかし、制御された設定におけるAIの印象的な予測能力にもかかわらず、さまざまなクリティカルなシナリオでAIが広く使われるのを防ぐための、さまざまな実践的な障害に悩まされている。
特に、特定のAIシステムの予測が下流アプリケーションで意思決定者によって信頼されるかどうかは、一般的には不明確である。
より透明で堅牢で信頼性の高いAIシステムの必要性に対処するため、AI予測の不確実性を定量化するための一連のツールが開発され、より一般的には、AIがその予測の信頼性を"自己評価"することができる。
本稿では,いくつかの重要な側面に沿ったAI自己評価手法を分類し,実践者のニーズに応じて適切な方法を選択し,設計するためのガイドラインを提供する。
特に,下流の意思決定者による選択に対する自己評価の影響を考慮した不確実性評価手法と,意思決定結果のコストとメリットに着目した。
自己評価設計における方法論の有用性を実証するために,2つの現実的な国家的関心シナリオにその有用性を示す。
この原稿は、機械学習エンジニアとAIシステム利用者が各問題に対する理想的な自己評価テクニックを選択するための実践的なガイドである。
関連論文リスト
- Engineering Trustworthy AI: A Developer Guide for Empirical Risk Minimization [53.80919781981027]
信頼できるAIのための重要な要件は、経験的リスク最小化のコンポーネントの設計選択に変換できる。
私たちは、AIの信頼性の新たな標準を満たすAIシステムを構築するための実用的なガイダンスを提供したいと思っています。
論文 参考訳（メタデータ） (2024-10-25T07:53:32Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Predictable Artificial Intelligence [77.1127726638209]
本稿では予測可能なAIのアイデアと課題を紹介する。
それは、現在および将来のAIエコシステムの重要な妥当性指標を予測できる方法を探る。
予測可能性を達成することは、AIエコシステムの信頼、責任、コントロール、アライメント、安全性を促進するために不可欠である、と私たちは主張する。
論文 参考訳（メタデータ） (2023-10-09T21:36:21Z) - Training Towards Critical Use: Learning to Situate AI Predictions
Relative to Human Knowledge [22.21959942886099]
我々は、人間がAIモデルでは利用できない知識に対してAI予測をシチュレートする能力を集中させる「クリティカルユース」と呼ばれるプロセス指向の適切な依存の概念を紹介します。
我々は、児童虐待スクリーニングという複雑な社会的意思決定環境でランダム化オンライン実験を行う。
参加者にAIによる意思決定を実践する、迅速で低い機会を提供することによって、初心者は、経験豊富な労働者に類似したAIとの不一致のパターンを示すようになった。
論文 参考訳（メタデータ） (2023-08-30T01:54:31Z) - Guideline for Trustworthy Artificial Intelligence -- AI Assessment
Catalog [0.0]
AIアプリケーションとそれに基づくビジネスモデルが、高品質な標準に従って開発されている場合にのみ、その潜在能力を最大限に発揮できることは明らかです。
AIアプリケーションの信頼性の問題は非常に重要であり、多くの主要な出版物の主題となっている。
このAIアセスメントカタログは、まさにこの点に対応しており、2つのターゲットグループを対象としている。
論文 参考訳（メタデータ） (2023-06-20T08:07:18Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - Intelligent Decision Assistance Versus Automated Decision-Making:
Enhancing Knowledge Work Through Explainable Artificial Intelligence [0.0]
我々は,新たなDSSクラス,すなわち知能決定支援(IDA)を提案する。
IDAは、自動意思決定を通じて知識労働者に影響を与えることなく、知識労働者をサポートする。
具体的には、具体的なAIレコメンデーションを保ちながら、説明可能なAI(XAI)の技術を使用することを提案する。
論文 参考訳（メタデータ） (2021-09-28T15:57:21Z) - An interdisciplinary conceptual study of Artificial Intelligence (AI)
for helping benefit-risk assessment practices: Towards a comprehensive
qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。
目的は、AIシステムを評価するための共有概念や相違点を特定することである。
論文 参考訳（メタデータ） (2021-05-07T12:01:31Z) - AAAI FSS-19: Human-Centered AI: Trustworthiness of AI Models and Data
Proceedings [8.445274192818825]
予測モデルは不確実性を認識し、信頼できる予測をもたらすことが不可欠である。
このシンポジウムの焦点は、データ品質と技術的堅牢性と安全性を改善するAIシステムであった。
広く定義された領域からの提出はまた、説明可能なモデル、人間の信頼、AIの倫理的側面といった要求に対処するアプローチについても論じた。
論文 参考訳（メタデータ） (2020-01-15T15:30:29Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。