論文の概要: Does Calibration Affect Human Actions?

• arxiv url: http://arxiv.org/abs/2508.18317v1
• Date: Sat, 23 Aug 2025 22:12:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.521695
• Title: Does Calibration Affect Human Actions?
• Title（参考訳）: 校正は人間の行動に影響を及ぼすか?
• Authors: Meir Nizri, Amos Azaria, Chirag Gupta, Noam Hazon,
• Abstract要約: 分類モデルの校正が、モデルの予測を消費する非専門家による決定にどのように影響するかを検討する。 予測理論の補正は、人間の判断とモデルの予測との相関性を高めるために不可欠である。
• 参考スコア（独自算出の注目度）: 14.634902487427103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Calibration has been proposed as a way to enhance the reliability and adoption of machine learning classifiers. We study a particular aspect of this proposal: how does calibrating a classification model affect the decisions made by non-expert humans consuming the model's predictions? We perform a Human-Computer-Interaction (HCI) experiment to ascertain the effect of calibration on (i) trust in the model, and (ii) the correlation between decisions and predictions. We also propose further corrections to the reported calibrated scores based on Kahneman and Tversky's prospect theory from behavioral economics, and study the effect of these corrections on trust and decision-making. We find that calibration is not sufficient on its own; the prospect theory correction is crucial for increasing the correlation between human decisions and the model's predictions. While this increased correlation suggests higher trust in the model, responses to ``Do you trust the model more?" are unaffected by the method used.
• Abstract（参考訳）: 機械学習分類器の信頼性と採用を高める手段として校正が提案されている。 分類モデルの校正は、モデルの予測を消費する非専門家による決定にどのように影響を与えるか。 キャリブレーションの効果を確認するため,Human-Computer-Interaction (HCI)実験を行った。 (i)モデルを信頼し、 (二)決定と予測の相関 また、行動経済学からカーネマンとトヴェルスキーの予測理論に基づいて、報告された校正スコアをさらに補正し、これらの補正が信頼と意思決定に与える影響について検討する。 予測理論の補正は、人間の判断とモデルの予測との相関性を高めるために不可欠である。 この相関関係の増大は、モデルに対する高い信頼を示唆するが、 '`あなたはモデルをより信頼しているか?" に対する応答は、使用されるメソッドの影響を受けない。

関連論文リスト

• Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models [0.0]
  本研究では,人間のグループレベルの不確実性と従来のモデルキャリブレーションの両概念との密接な一致を判断するために,推論時不確実性尺度の収集を評価する。 その結果,ヒトの回答嗜好に一致していないにもかかわらず,人間の不確実性に強い対応を示す尺度が多数存在することが判明した。
  論文  参考訳（メタデータ） (2025-08-11T17:22:45Z)
• Calibration of Neural Networks [77.34726150561087]
  本稿では,ニューラルネットワークの文脈における信頼性校正問題について調査する。 我々は,問題文,キャリブレーション定義,評価に対する異なるアプローチについて分析する。 実験実験では、様々なデータセットとモデルをカバーし、異なる基準に従って校正方法を比較する。
  論文  参考訳（メタデータ） (2023-03-19T20:27:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Calibration Meets Explanation: A Simple and Effective Approach for Model Confidence Estimates [21.017890579840145]
  本稿では,モデル説明を活用するCMEという手法を提案し,非帰納的属性に対するモデルの信頼性を低下させる。 我々は,2つの人気のある事前学習言語モデルを用いて,6つのデータセットに関する広範な実験を行った。 以上の結果から,モデル説明が後部推定の校正に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-06T06:17:21Z)
• Calibrated Selective Classification [34.08454890436067]
  そこで我々は,「不確か」な不確実性のある例を拒否する手法を提案する。 本稿では,選択的校正モデル学習のためのフレームワークを提案する。そこでは,任意のベースモデルの選択的校正誤差を改善するために,個別のセレクタネットワークを訓練する。 われわれは,複数画像分類と肺癌リスク評価におけるアプローチの実証的効果を実証した。
  論文  参考訳（メタデータ） (2022-08-25T13:31:09Z)
• Revisiting Calibration for Question Answering [16.54743762235555]
  従来のキャリブレーション評価はモデル信頼性の有用性を反映していないと論じる。 モデルが誤った予測に低信頼を割り当て、正しい予測に高信頼を割り当てているかどうかをよりよく把握する新しい校正基準であるMacroCEを提案する。
  論文  参考訳（メタデータ） (2022-05-25T05:49:56Z)
• Estimating Expected Calibration Errors [1.52292571922932]
  確率論的予測の不確実性は、モデルが人間の意思決定をサポートするために使用される場合、重要な問題である。 ほとんどのモデルは本質的に十分に校正されていないため、決定スコアは後続確率と一致しない。 我々は、$ECE$推定器の品質を定量化するための実証的な手順を構築し、それを使用して、異なる設定で実際にどの推定器を使用するべきかを決定する。
  論文  参考訳（メタデータ） (2021-09-08T08:00:23Z)
• When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making [68.19284302320146]
  我々は,異なるレベルの専門知識を持つ人々が,異なるタイプの予測不確実性にどう反応するかを評価するために,ユーザスタディを実施している。 その結果,後続の予測分布を示すことは,MLモデルの予測との相違点が小さくなることがわかった。 このことは、後続の予測分布は、人間の分布の種類や専門性を考慮し、注意を払って使用するべき有用な決定支援として役立つ可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-11-12T02:23:53Z)
• Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
  そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。 我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。 このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
  論文  参考訳（メタデータ） (2020-10-15T16:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。