論文の概要: Human-AI Collaborative Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2510.23476v1
- Date: Mon, 27 Oct 2025 16:11:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-28 15:28:15.608899
- Title: Human-AI Collaborative Uncertainty Quantification
- Title(参考訳): 人間とAIの協調的不確実性定量化
- Authors: Sima Noorani, Shayan Kiyani, George Pappas, Hamed Hassani,
- Abstract要約: 我々は、AIモデルが人間の専門家の提案する予測セットをいかに洗練するかを形式化するフレームワークであるHuman AI Collaborative Uncertainty Quantificationを紹介する。
最適協調予測セットは1つのスコア関数上の直感的な2つのしきい値構造に従っており、古典的な結果を共形予測で拡張することを示す。
画像分類、回帰、テキストベースの医学的意思決定に関する実験は、協調予測セットがエージェント単独よりも一貫して優れていることを示している。
- 参考スコア(独自算出の注目度): 26.38833436936642
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI predictive systems are increasingly embedded in decision making pipelines, shaping high stakes choices once made solely by humans. Yet robust decisions under uncertainty still rely on capabilities that current AI lacks: domain knowledge not captured by data, long horizon context, and reasoning grounded in the physical world. This gap has motivated growing efforts to design collaborative frameworks that combine the complementary strengths of humans and AI. This work advances this vision by identifying the fundamental principles of Human AI collaboration within uncertainty quantification, a key component of reliable decision making. We introduce Human AI Collaborative Uncertainty Quantification, a framework that formalizes how an AI model can refine a human expert's proposed prediction set with two goals: avoiding counterfactual harm, ensuring the AI does not degrade correct human judgments, and complementarity, enabling recovery of correct outcomes the human missed. At the population level, we show that the optimal collaborative prediction set follows an intuitive two threshold structure over a single score function, extending a classical result in conformal prediction. Building on this insight, we develop practical offline and online calibration algorithms with provable distribution free finite sample guarantees. The online method adapts to distribution shifts, including human behavior evolving through interaction with AI, a phenomenon we call Human to AI Adaptation. Experiments across image classification, regression, and text based medical decision making show that collaborative prediction sets consistently outperform either agent alone, achieving higher coverage and smaller set sizes across various conditions.
- Abstract(参考訳): AI予測システムは、意思決定パイプラインにますます組み込まれており、かつて人間だけによってなされた高利得の選択肢を形成している。
しかし、不確実性の下での堅牢な決定は、依然として、現在のAIに欠けている機能、すなわち、データによってキャプチャされないドメイン知識、長い地平線コンテキスト、物理的世界に根ざした推論に依存している。
このギャップは、人間とAIの相補的な強みを組み合わせた協調的なフレームワークを設計する努力の高まりを動機付けている。
この研究は、信頼性の高い意思決定の重要な構成要素である不確実性定量化の中で、ヒューマンAIコラボレーションの基本原則を特定することによって、このビジョンを前進させる。
我々は、AIモデルが人間の専門家の提案する予測セットをどのように洗練させるかを形式化したフレームワークであるHuman AI Collaborative Uncertainty Quantificationを紹介します。
集団レベルでは、最適協調予測セットは、単一スコア関数上の直感的な2つのしきい値構造に従い、古典的な結果を共形予測に拡張することを示す。
この知見に基づいて,証明可能な分布自由な有限サンプル保証を備えた実効的なオフライン・オンラインキャリブレーションアルゴリズムを開発した。
オンライン手法は、AIとのインタラクションを通じて進化する人間の行動を含む、配布のシフトに適応します。
画像分類,レグレッション,テキストに基づく医学的意思決定実験により,協調予測セットはエージェント単独で常に優れており,高いカバレッジとさまざまな条件でのセットサイズが小さいことが示されている。
関連論文リスト
- DeCoDe: Defer-and-Complement Decision-Making via Decoupled Concept Bottleneck Models [37.118479480792416]
我々は人間-AI協調のための概念駆動型フレームワークを提案する。
DeCoDeは人間解釈可能な概念表現に基づいて戦略決定を行う。
自律的なAI予測、人間への延期、人間とAIの協調的な相補性という3つのモードをサポートする。
論文 参考訳(メタデータ) (2025-05-25T16:34:45Z) - Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。
AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
論文 参考訳(メタデータ) (2025-03-31T02:05:27Z) - Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。
このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
論文 参考訳(メタデータ) (2024-06-13T16:03:25Z) - A Decision Theoretic Framework for Measuring AI Reliance [20.669176502049066]
人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。
研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。
本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
論文 参考訳(メタデータ) (2024-01-27T09:13:09Z) - Human Uncertainty in Concept-Based AI Systems [37.82747673914624]
概念に基づくAIシステムのコンテキストにおける人間の不確実性について検討する。
不確実な概念ラベルによるトレーニングは、概念ベースシステムにおける弱点を軽減するのに役立つ可能性がある。
論文 参考訳(メタデータ) (2023-03-22T19:17:57Z) - Learning Complementary Policies for Human-AI Teams [22.13683008398939]
本稿では,効果的な行動選択のための新しい人間-AI協調のための枠組みを提案する。
私たちのソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としています。
論文 参考訳(メタデータ) (2023-02-06T17:22:18Z) - Human-Algorithm Collaboration: Achieving Complementarity and Avoiding
Unfairness [92.26039686430204]
慎重に設計されたシステムであっても、補完的な性能はあり得ないことを示す。
まず,簡単な人間アルゴリズムをモデル化するための理論的枠組みを提案する。
次に、このモデルを用いて相補性が不可能な条件を証明する。
論文 参考訳(メタデータ) (2022-02-17T18:44:41Z) - Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted
Decision-making [46.625616262738404]
我々は、認知科学の分野からの知識を用いて、人間とAIの協調的な意思決定設定における認知バイアスを考慮します。
私たちは、人間とAIのコラボレーションでよく見られるバイアスであるバイアスのアンカーに特に焦点を当てています。
論文 参考訳(メタデータ) (2020-10-15T22:25:41Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳(メタデータ) (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。