論文の概要: Between accurate prediction and poor decision making: the AI/ML gap
- arxiv url: http://arxiv.org/abs/2310.02029v1
- Date: Tue, 3 Oct 2023 13:15:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 14:21:45.553720
- Title: Between accurate prediction and poor decision making: the AI/ML gap
- Title（参考訳）: 正確な予測と下手な意思決定:AI/MLのギャップ
- Authors: Gianluca Bontempi
- Abstract要約: 本稿は、AI/MLコミュニティが、状態確率の推定に過剰な注意を払って、あまりにも不均衡なアプローチをとってきたことを論じる。
誤った効用評価が決定戦略の期待される実用性に与える影響についての証拠は少ない。
- 参考スコア（独自算出の注目度）: 0.19580473532948395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligent agents rely on AI/ML functionalities to predict the consequence
of possible actions and optimise the policy. However, the effort of the
research community in addressing prediction accuracy has been so intense (and
successful) that it created the illusion that the more accurate the learner
prediction (or classification) the better would have been the final decision.
Now, such an assumption is valid only if the (human or artificial) decision
maker has complete knowledge of the utility of the possible actions. This paper
argues that AI/ML community has taken so far a too unbalanced approach by
devoting excessive attention to the estimation of the state (or target)
probability to the detriment of accurate and reliable estimations of the
utility. In particular, few evidence exists about the impact of a wrong utility
assessment on the resulting expected utility of the decision strategy. This
situation is creating a substantial gap between the expectations and the
effective impact of AI solutions, as witnessed by recent criticisms and
emphasised by the regulatory legislative efforts. This paper aims to study this
gap by quantifying the sensitivity of the expected utility to the utility
uncertainty and comparing it to the one due to probability estimation.
Theoretical and simulated results show that an inaccurate utility assessment
may as (and sometimes) more harmful than a poor probability estimation. The
final recommendation to the community is then to undertake a focus shift from a
pure accuracy-driven (or obsessed) approach to a more utility-aware
methodology.
- Abstract（参考訳）: インテリジェントエージェントは、アクションの結果を予測し、ポリシーを最適化するために、AI/ML機能に依存する。
しかし、予測精度に対処する研究コミュニティの取り組みは非常に激しい(そして成功した)ため、学習者の予測(または分類)がより正確になるほど、最終的な決定は良くなるという錯覚を生み出した。
現在、そのような仮定は、(人間または人為的な)意思決定者が可能なアクションの有用性について完全な知識を持っている場合にのみ有効である。
本稿では,ai/mlコミュニティが,現状(あるいはターゲット)の確率の推定に過度に注意を向けて,ユーティリティの正確かつ信頼性の高い推定を損なうという,あまりにも不均衡なアプローチをとっていることを論じる。
特に、誤ったユーティリティアセスメントが決定戦略の期待される実用性に与える影響についての証拠は少ない。
この状況は、最近の批判や規制立法の努力によって強調されたように、AIソリューションの期待と効果的な影響の間に大きなギャップを生じさせている。
本稿では,このギャップを,期待するユーティリティの不確実性に対する感度を定量化し,確率推定による評価結果と比較することで検討することを目的とする。
理論的およびシミュレーションの結果、不正確な実用評価は、低い確率推定よりも(時には)有害である可能性が示されている。
コミュニティへの最後の推奨事項は、純粋な正確性駆動(あるいは強迫的な)アプローチから、より実用性に配慮した方法論に移行することです。
関連論文リスト
- Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - A comparative study of conformal prediction methods for valid uncertainty quantification in machine learning [0.0]
論文は、誰もが不確実性に気付いていて、それがどれほど重要か、そしてそれを恐れずにそれをどのように受け入れるか、という世界を探求しようとします。
しかし、正確な不確実性推定を誰でも得るための特定のフレームワークが選別され、分析される。
論文 参考訳（メタデータ） (2024-05-03T13:19:33Z) - Reduced-Rank Multi-objective Policy Learning and Optimization [57.978477569678844]
実際には、因果研究者は先験を念頭において1つの結果を持っていない。
政府支援の社会福祉プログラムでは、政策立案者は貧困の多次元的性質を理解するために多くの成果を集めている。
本稿では、最適政策学習の文脈において、複数の結果に対するデータ駆動型次元性推論手法を提案する。
論文 参考訳（メタデータ） (2024-04-29T08:16:30Z) - Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding [2.8498944632323755]
選択的に観測されたデータにおける予測アルゴリズムの頑健な設計と評価のための統一的なフレームワークを提案する。
我々は、選択されていないユニットと選択されたユニットの間で、平均して結果がどの程度異なるかという一般的な仮定を課す。
我々は,大規模な予測性能推定値のクラスにおける境界値に対するバイアス付き機械学習推定器を開発する。
論文 参考訳（メタデータ） (2022-12-19T20:41:44Z) - Making Decisions under Outcome Performativity [9.962472413291803]
我々は、新しい最適性の概念、パフォーマンス的全予測を導入する。
性能的全予測器は、最適な決定ルールを同時に符号化する単一の予測器である。
本研究では,性能予測の自然な制約の下で,効率的な性能予測器が存在することを示す。
論文 参考訳（メタデータ） (2022-10-04T17:04:47Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Uncertainty-aware Human Motion Prediction [0.4568777157687961]
人間の動作予測のための不確実性認識フレームワーク(UA-HMP)を提案する。
まず,ガウスモデルを用いて不確実性を考慮した予測器を設計し,予測動作の価値と不確実性を実現する。
そこで, 不確実性を定量化し, ノイズサンプルの負の効果を低減するために, 不確実性誘導学習方式を提案する。
論文 参考訳（メタデータ） (2021-07-08T03:09:01Z) - When Does Uncertainty Matter?: Understanding the Impact of Predictive
Uncertainty in ML Assisted Decision Making [68.19284302320146]
我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。
その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。
このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
論文 参考訳（メタデータ） (2020-11-12T02:23:53Z) - Counterfactual Predictions under Runtime Confounding [74.90756694584839]
本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。
本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
論文 参考訳（メタデータ） (2020-06-30T15:49:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。