論文の概要: Underspecified Human Decision Experiments Considered Harmful

• arxiv url: http://arxiv.org/abs/2401.15106v6
• Date: Fri, 02 May 2025 13:21:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 12:55:30.721277
• Title: Underspecified Human Decision Experiments Considered Harmful
• Title（参考訳）: 有害と判断された人体決定実験
• Authors: Jessica Hullman, Alex Kale, Jason Hartline,
• Abstract要約: 本稿では、統計的決定理論と情報経済学から合成された決定問題の広く適用可能な定義について述べる。 我々は、AIによる意思決定に関する最近の実証研究がこの基準を達成するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 18.27590643693167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision-making with information displays is a key focus of research in areas like human-AI collaboration and data visualization. However, what constitutes a decision problem, and what is required for an experiment to conclude that decisions are flawed, remain imprecise. We present a widely applicable definition of a decision problem synthesized from statistical decision theory and information economics. We claim that to attribute loss in human performance to bias, an experiment must provide the information that a rational agent would need to identify the normative decision. We evaluate whether recent empirical research on AI-assisted decisions achieves this standard. We find that only 10 (26%) of 39 studies that claim to identify biased behavior presented participants with sufficient information to make this claim in at least one treatment condition. We motivate the value of studying well-defined decision problems by describing a characterization of performance losses they allow to be conceived.
• Abstract（参考訳）: 情報ディスプレイによる意思決定は、人間とAIのコラボレーションやデータの視覚化といった分野における研究の重要な焦点である。 しかし、決定問題を構成するもの、そして、決定に欠陥があると結論付けるために実験に必要なものは、いまだ不正確である。 本稿では、統計的決定理論と情報経済学から合成された決定問題の広く適用可能な定義について述べる。 我々は、人間のパフォーマンスの損失をバイアスに結びつけるためには、合理的なエージェントが規範的決定を識別する必要があるという情報を提供する必要があると主張している。 我々は、AIによる意思決定に関する最近の実証研究がこの基準を達成するかどうかを評価する。 偏見のある行動を特定するという39の研究のうち10(26%)だけが、少なくとも1つの治療条件でこの主張を行うのに十分な情報を示した。 我々は,よく定義された意思決定問題を研究することの価値を,それらが認識できる性能損失の特徴を説明することによって動機づける。

関連論文リスト

• Towards a Cascaded LLM Framework for Cost-effective Human-AI Decision-Making [55.2480439325792]
  複数の専門分野にまたがってタスクを適応的に委譲するLLM決定フレームワークを提案する。 まず、deferral Policyは、ベースモデルの回答を受け入れるか、あるいは大きなモデルでそれを再生するかを決定する。 第2に、禁忌ポリシーは、カスケードモデル応答が十分に確実であるか、または人間の介入を必要とするかを判定する。
  論文  参考訳（メタデータ） (2025-06-13T15:36:22Z)
• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• A Decision Theoretic Framework for Measuring AI Reliance [23.353778024330165]
  人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。 研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。 本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
  論文  参考訳（メタデータ） (2024-01-27T09:13:09Z)
• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [61.04606493712002]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• Explaining by Imitating: Understanding Decisions by Interpretable Policy Learning [72.80902932543474]
  観察されたデータから人間の行動を理解することは、意思決定における透明性と説明責任にとって重要である。 意思決定者の方針をモデル化することが困難である医療などの現実的な設定を考えてみましょう。 本稿では, 設計による透明性の向上, 部分観測可能性の確保, 完全にオフラインで動作可能なデータ駆動型意思決定行動の表現を提案する。
  論文  参考訳（メタデータ） (2023-10-28T13:06:14Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Incentive-Theoretic Bayesian Inference for Collaborative Science [59.15962177829337]
  未知のパラメータについて、プライベートな先行エージェントが存在する場合の仮説テストについて検討する。 エージェントの戦略行動によって明らかにされる情報を活用する統計的推論を行う方法を示す。
  論文  参考訳（メタデータ） (2023-07-07T17:59:01Z)
• Ground(less) Truth: A Causal Framework for Proxy Labels in Human-Algorithm Decision-Making [29.071173441651734]
  人間のAI意思決定タスクにおけるプロキシラベルの有効性に影響を与える5つの変数バイアス源を同定する。 各バイアス間の関係を乱すための因果的枠組みを開発する。 今後の研究において、ターゲット変数バイアスに対処する機会について論じる。
  論文  参考訳（メタデータ） (2023-02-13T16:29:11Z)
• Causal Fairness Analysis [68.12191782657437]
  意思決定設定における公平性の問題を理解し、モデル化し、潜在的に解決するためのフレームワークを導入します。 我々のアプローチの主な洞察は、観測データに存在する格差の定量化と、基礎となる、しばしば観測されていない、因果的なメカニズムの収集を結びつけることである。 本研究は,文献中の異なる基準間の関係を整理し,説明するための最初の体系的試みであるフェアネスマップにおいて,本研究の成果を左右するものである。
  論文  参考訳（メタデータ） (2022-07-23T01:06:34Z)
• Explainability's Gain is Optimality's Loss? -- How Explanations Bias Decision-making [0.0]
  説明は、アルゴリズムと人間の意思決定者とのコミュニケーションを促進するのに役立つ。 因果モデルに関する特徴に基づく説明のセマンティクスは、意思決定者の以前の信念から漏れを引き起こす。 このような違いは、準最適かつ偏った決定結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-06-17T11:43:42Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• On the Fairness of Machine-Assisted Human Decisions [3.4069627091757178]
  偏りのある人間の意思決定者を含めることで、アルゴリズムの構造と結果の判断の質との間の共通関係を逆転させることができることを示す。 実験室実験では,性別別情報による予測が,意思決定における平均的な性別格差を減少させることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:24:45Z)
• Learning the Preferences of Uncertain Humans with Inverse Decision Theory [10.926992035470372]
  我々は,不確実性の下で連続的でない二項決定を行う,人間を観察する枠組みである逆決定理論(IDT)の設定について検討する。 IDTでは、人間の好みは損失関数を通じて伝達され、異なるタイプの誤り間のトレードオフを表現する。 決定問題がより不確実な場合には、実際に好みを特定するのが簡単であることを示す。
  論文  参考訳（メタデータ） (2021-06-19T00:11:13Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• "A cold, technical decision-maker": Can AI provide explainability, negotiability, and humanity? [47.36687555570123]
  参加者60名からなる5つのワークショップからなるアルゴリズム決定の質的研究の結果を報告する。 意思決定における参加者の人間性に関する考察を議論し,「交渉可能性」という概念を導入する。
  論文  参考訳（メタデータ） (2020-12-01T22:36:54Z)
• Inverse Active Sensing: Modeling and Understanding Timely Decision-Making [111.07204912245841]
  我々は,内因性,文脈依存型時間圧下でのエビデンスに基づく意思決定の一般的な設定のための枠組みを開発する。 意思決定戦略において、サプライズ、サスペンス、最適性の直感的な概念をモデル化する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-25T02:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。