論文の概要: To Trust or Not to Trust a Regressor: Estimating and Explaining
Trustworthiness of Regression Predictions
- arxiv url: http://arxiv.org/abs/2104.06982v1
- Date: Wed, 14 Apr 2021 17:04:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:22:12.846941
- Title: To Trust or Not to Trust a Regressor: Estimating and Explaining
Trustworthiness of Regression Predictions
- Title（参考訳）: 回帰因子を信頼するか否か:回帰予測の信頼性を推定し説明する
- Authors: Kim de Bie, Ana Lucic, Hinda Haned
- Abstract要約: 回帰予測の信頼性を推定・説明する手法であるRETRO-VIZを紹介します。
RETROスコアは、117の実験設定で予測誤差と負の相関があることを発見した。
41名の参加者によるユーザースタディでは、VIZ-explanationsがユーザーが予測が信頼できるかどうかを識別するのに役立つことが分かりました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In hybrid human-AI systems, users need to decide whether or not to trust an
algorithmic prediction while the true error in the prediction is unknown. To
accommodate such settings, we introduce RETRO-VIZ, a method for (i) estimating
and (ii) explaining trustworthiness of regression predictions. It consists of
RETRO, a quantitative estimate of the trustworthiness of a prediction, and VIZ,
a visual explanation that helps users identify the reasons for the (lack of)
trustworthiness of a prediction. We find that RETRO-scores negatively correlate
with prediction error across 117 experimental settings, indicating that RETRO
provides a useful measure to distinguish trustworthy predictions from
untrustworthy ones. In a user study with 41 participants, we find that
VIZ-explanations help users identify whether a prediction is trustworthy or
not: on average, 95.1% of participants correctly select the more trustworthy
prediction, given a pair of predictions. In addition, an average of 75.6% of
participants can accurately describe why a prediction seems to be (not)
trustworthy. Finally, we find that the vast majority of users subjectively
experience RETRO-VIZ as a useful tool to assess the trustworthiness of
algorithmic predictions.
- Abstract（参考訳）: ハイブリッドなヒューマンAIシステムでは、ユーザーは予測における真のエラーが不明である間にアルゴリズムの予測を信頼するかどうかを決定する必要がある。
このような設定に対応するため,回帰予測の信頼性を (i) 推定し, (ii) 説明するためのRETRO-VIZを導入する。
予測の信頼性を定量的に推定するレトロ(retro)と、予測の信頼性(lack of)の理由を特定するのに役立つ視覚的な説明(viz)で構成されている。
この結果から,RETROスコアは信頼できない予測と信頼できない予測を区別するのに有用な指標であることが示唆された。
41人の参加者によるユーザスタディにおいて、VZ-Explanationsは、予測が信頼できるかどうかを判断するのに役立ち、平均して、95.1%の参加者が、予測のペアからより信頼できる予測を正しく選択する。
さらに、平均75.6%の参加者が、なぜ予測が信頼に値するものではないかを正確に説明できる。
最後に,ほとんどのユーザがRETRO-VIZをアルゴリズム予測の信頼性を評価する有用なツールとして経験していることを見出した。
関連論文リスト
- Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - Performative Prediction on Games and Mechanism Design [69.7933059664256]
エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。
予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。
よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
論文 参考訳（メタデータ） (2024-08-09T16:03:44Z) - Incentivizing honest performative predictions with proper scoring rules [4.932130498861987]
その予測が下された後に専門家の信念を正確に反映していれば、予測は固定点であると言える。
二項予測に対して、専門家の予測が結果に与える影響が限定されている場合、最適なレポートが任意に固定点に近づくスコアリングルールを定義することができる。
論文 参考訳（メタデータ） (2023-05-28T00:53:26Z) - A Trustworthiness Score to Evaluate DNN Predictions [1.5484595752241122]
ディープニューラルネットワークの予測が信頼できるか疑わしいかを知るためには、運用中の安全性が不可欠である。
信頼性スコア(TS: Trustworthiness score)は、予測に対する信頼性を提供するための、より透明で効果的な方法を提供する指標である。
人検出にYOLOv5を用いたケーススタディを行い,TSとSSの手法と使用法を実証した。
論文 参考訳（メタデータ） (2023-01-21T00:48:18Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳（メタデータ） (2021-09-30T19:19:09Z) - Individual Calibration with Randomized Forecasting [116.2086707626651]
予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。
我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
論文 参考訳（メタデータ） (2020-06-18T05:53:10Z) - Prediction Confidence from Neighbors [0.0]
機械学習(ML)モデルがOoD(out-of-distribution)サンプルから正しい予測を抽出することができないことは、重要なアプリケーションにMLを適用する上で大きな障害となる。
特徴空間距離は予測に自信を与える有意義な尺度であることを示す。
これにより、重要なアプリケーションにおけるモデルの早期かつ安全なデプロイが可能になり、常に変化する条件下でのモデルのデプロイには不可欠である。
論文 参考訳（メタデータ） (2020-03-31T09:26:09Z) - Towards Time-Aware Context-Aware Deep Trust Prediction in Online Social
Networks [0.4061135251278187]
信頼は、情報ソースが信頼できるか、誰と共有すべきか、誰から情報を受け入れるべきかを決定する尺度として定義できる。
ソーシャルスパマー検出、フェイクニュース検出、リツイート行動検出、レコメンデーションシステムなど、オンラインソーシャルネットワーク(OSN)への信頼のためのいくつかのアプリケーションがある。
信頼予測は、現在接続されていない2人のユーザー間の新しい信頼関係を予測するプロセスである。
論文 参考訳（メタデータ） (2020-03-21T01:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。