論文の概要: A Framework for Measuring Appropriate Reliance on Set-Valued AI Advice

• arxiv url: http://arxiv.org/abs/2606.06081v1
• Date: Thu, 04 Jun 2026 12:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.7824
• Title: A Framework for Measuring Appropriate Reliance on Set-Valued AI Advice
• Title（参考訳）: セットバリューAIアドバイザの適切な信頼性測定のためのフレームワーク
• Authors: Ranjan Mishra, Jakob Schoeffer,
• Abstract要約: 我々は、逐次的判断・監督パラダイムの中で、設定された評価されたAIアドバイスへの適切な依存を測定するための最初の公式なフレームワークを開発する。 これらの指標が,既存の指標が見落としている人間とAIのコラボレーションにおいて重要なニュアンスをいかに捉えているかを示す。
• 参考スコア（独自算出の注目度）: 4.452583096196013
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Appropriate reliance on AI advice has become a central research theme in human-AI collaboration. Existing frameworks have focused exclusively on point predictions as AI advice. However, set-valued AI advice (e.g., discrete sets or continuous intervals) is increasingly being used to communicate uncertainty and improve human decision making. In this paper, we develop the first formal framework for measuring appropriate reliance on set-valued AI advice within the sequential judge-advisor paradigm, spanning both classification and regression tasks. For classification, we first introduce the dimensions that are necessary for evaluating set-valued AI advice. We then define two metrics: correct reliance rate on AI and correct reliance rate on self, which jointly characterize appropriate reliance in this setting. For regression, we introduce quantity of AI reliance and quality of AI reliance, which respectively measure whether a decision maker utilized the AI advice and whether their reliance helped them get closer to the ground truth relative to their initial estimate. Through the application of our framework, we demonstrate how these metrics capture important nuances in human-AI collaboration that existing measures overlook.
• Abstract（参考訳）: 適切なAIアドバイスへの依存は、人間とAIのコラボレーションにおける中心的な研究テーマとなっている。 既存のフレームワークでは、AIアドバイスとしてポイント予測のみに重点を置いている。 しかし、セット価値のAIアドバイス(例えば、離散的なセットや連続的な間隔)は、不確実性をコミュニケーションし、人間の意思決定を改善するためにますます使われています。 本稿では,分類処理と回帰処理の両方にまたがるシーケンシャルな判断・管理者パラダイムにおいて,設定値AIアドバイスの適切な依存度を測定するための最初の公式な枠組みを開発する。 分類には,まず,設定値のAIアドバイスを評価するのに必要な次元を導入する。 次に、AIへの正しい依存率と自己への正しい依存率という2つの指標を定義します。 回帰に関して、AI頼りの量とAI頼りの質を導入し、意思決定者がAIアドバイスを利用したかどうかをそれぞれ測定し、AI頼りが最初の見積もりよりも根底的な真実に近づくのに役立つかどうかを測る。 フレームワークの適用を通じて、既存の測定方法を見落としている人間とAIのコラボレーションにおいて、これらのメトリクスがどのように重要なニュアンスを捉えているかを実証する。

関連論文リスト

• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Human-Alignment Influences the Utility of AI-assisted Decision Making [16.732483972136418]
  我々は,アライメントの程度が,AIによる意思決定の有用性に与える影響について検討する。 以上の結果から,AIによる意思決定におけるアライメントの程度と有効性との関連が示唆された。
  論文  参考訳（メタデータ） (2025-01-23T19:01:47Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• A Decision Theoretic Framework for Measuring AI Reliance [20.669176502049066]
  人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
  論文  参考訳（メタデータ） (2024-01-27T09:13:09Z)
• AI Reliance and Decision Quality: Fundamentals, Interdependence, and the Effects of Interventions [6.356355538824237]
  私たちは、AIによる意思決定に関する現在の文献で、信頼と意思決定品質が不適切に混ざり合っていると論じています。 我々の研究は、AIによる意思決定における信頼行動と意思決定品質の区別の重要性を強調している。
  論文  参考訳（メタデータ） (2023-04-18T08:08:05Z)
• Learning to Advise Humans in High-Stakes Settings [8.921629768446625]
  高度なAI支援意思決定(AIaDM)設定の専門家意思決定者(DM)は、最終的な決定を行う前に、AIシステムからレコメンデーションを受け取り、調整する。 チームのパフォーマンスを効果的に向上するAIaDMモデルを開発する上で鍵となる、これらの設定の異なる特性を特定します。
  論文  参考訳（メタデータ） (2022-10-23T20:46:02Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。