論文の概要: Between accurate prediction and poor decision making: the AI/ML gap
- arxiv url: http://arxiv.org/abs/2310.02029v1
- Date: Tue, 3 Oct 2023 13:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 14:21:45.553720
- Title: Between accurate prediction and poor decision making: the AI/ML gap
- Title(参考訳): 正確な予測と下手な意思決定:AI/MLのギャップ
- Authors: Gianluca Bontempi
- Abstract要約: 本稿は、AI/MLコミュニティが、状態確率の推定に過剰な注意を払って、あまりにも不均衡なアプローチをとってきたことを論じる。
誤った効用評価が決定戦略の期待される実用性に与える影響についての証拠は少ない。
- 参考スコア(独自算出の注目度): 0.19580473532948395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligent agents rely on AI/ML functionalities to predict the consequence
of possible actions and optimise the policy. However, the effort of the
research community in addressing prediction accuracy has been so intense (and
successful) that it created the illusion that the more accurate the learner
prediction (or classification) the better would have been the final decision.
Now, such an assumption is valid only if the (human or artificial) decision
maker has complete knowledge of the utility of the possible actions. This paper
argues that AI/ML community has taken so far a too unbalanced approach by
devoting excessive attention to the estimation of the state (or target)
probability to the detriment of accurate and reliable estimations of the
utility. In particular, few evidence exists about the impact of a wrong utility
assessment on the resulting expected utility of the decision strategy. This
situation is creating a substantial gap between the expectations and the
effective impact of AI solutions, as witnessed by recent criticisms and
emphasised by the regulatory legislative efforts. This paper aims to study this
gap by quantifying the sensitivity of the expected utility to the utility
uncertainty and comparing it to the one due to probability estimation.
Theoretical and simulated results show that an inaccurate utility assessment
may as (and sometimes) more harmful than a poor probability estimation. The
final recommendation to the community is then to undertake a focus shift from a
pure accuracy-driven (or obsessed) approach to a more utility-aware
methodology.
- Abstract(参考訳): インテリジェントエージェントは、アクションの結果を予測し、ポリシーを最適化するために、AI/ML機能に依存する。
しかし、予測精度に対処する研究コミュニティの取り組みは非常に激しい(そして成功した)ため、学習者の予測(または分類)がより正確になるほど、最終的な決定は良くなるという錯覚を生み出した。
現在、そのような仮定は、(人間または人為的な)意思決定者が可能なアクションの有用性について完全な知識を持っている場合にのみ有効である。
本稿では,ai/mlコミュニティが,現状(あるいはターゲット)の確率の推定に過度に注意を向けて,ユーティリティの正確かつ信頼性の高い推定を損なうという,あまりにも不均衡なアプローチをとっていることを論じる。
特に、誤ったユーティリティアセスメントが決定戦略の期待される実用性に与える影響についての証拠は少ない。
この状況は、最近の批判や規制立法の努力によって強調されたように、AIソリューションの期待と効果的な影響の間に大きなギャップを生じさせている。
本稿では,このギャップを,期待するユーティリティの不確実性に対する感度を定量化し,確率推定による評価結果と比較することで検討することを目的とする。
理論的およびシミュレーションの結果、不正確な実用評価は、低い確率推定よりも(時には)有害である可能性が示されている。
コミュニティへの最後の推奨事項は、純粋な正確性駆動(あるいは強迫的な)アプローチから、より実用性に配慮した方法論に移行することです。
関連論文リスト
- Gradient-based Uncertainty Attribution for Explainable Bayesian Deep
Learning [38.34033824352067]
ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。
本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
論文 参考訳(メタデータ) (2023-04-10T19:14:15Z) - Robust Design and Evaluation of Predictive Algorithms under Unobserved
Confounding [3.1133049660590615]
本稿では,選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一手法を提案する。
提案手法は, 選択されていない単位と選択された単位の平均値によって, 結果がどの程度異なるか, という一般的な仮定を与える。
観測不能な共起に関する様々な仮定が、デフォルトリスク予測や、センシティブなグループ間での信用スコアの評価に有意義な変化をもたらすことを示す。
論文 参考訳(メタデータ) (2022-12-19T20:41:44Z) - Making Decisions under Outcome Performativity [9.962472413291803]
我々は、新しい最適性の概念、パフォーマンス的全予測を導入する。
性能的全予測器は、最適な決定ルールを同時に符号化する単一の予測器である。
本研究では,性能予測の自然な制約の下で,効率的な性能予測器が存在することを示す。
論文 参考訳(メタデータ) (2022-10-04T17:04:47Z) - On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。
特に、領域外不確実性推定を攻撃することを目的としている。
論文 参考訳(メタデータ) (2022-10-03T23:33:38Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳(メタデータ) (2022-06-13T21:31:06Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳(メタデータ) (2022-05-04T04:23:38Z) - Uncertainty-aware Human Motion Prediction [0.4568777157687961]
人間の動作予測のための不確実性認識フレームワーク(UA-HMP)を提案する。
まず,ガウスモデルを用いて不確実性を考慮した予測器を設計し,予測動作の価値と不確実性を実現する。
そこで, 不確実性を定量化し, ノイズサンプルの負の効果を低減するために, 不確実性誘導学習方式を提案する。
論文 参考訳(メタデータ) (2021-07-08T03:09:01Z) - DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。
一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2021-02-16T23:50:35Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳(メタデータ) (2020-11-12T02:23:53Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳(メタデータ) (2020-06-30T15:49:05Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。