論文の概要: An Empirical Examination of the Evaluative AI Framework
- arxiv url: http://arxiv.org/abs/2411.08583v1
- Date: Wed, 13 Nov 2024 13:03:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-14 16:10:38.369151
- Title: An Empirical Examination of the Evaluative AI Framework
- Title(参考訳): 評価AIフレームワークの実証検討
- Authors: Jaroslaw Kornowicz,
- Abstract要約: 本研究は,AIユーザの意思決定プロセスを強化することを目的とした「評価AI」フレームワークを実証的に検討する。
このフレームワークは、直接的なレコメンデーションを提供するのではなく、ユーザがより情報的な決定をサポートするための仮説を証明し、証明する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: This study empirically examines the "Evaluative AI" framework, which aims to enhance the decision-making process for AI users by transitioning from a recommendation-based approach to a hypothesis-driven one. Rather than offering direct recommendations, this framework presents users pro and con evidence for hypotheses to support more informed decisions. However, findings from the current behavioral experiment reveal no significant improvement in decision-making performance and limited user engagement with the evidence provided, resulting in cognitive processes similar to those observed in traditional AI systems. Despite these results, the framework still holds promise for further exploration in future research.
- Abstract(参考訳): 本研究は,AIユーザの意思決定プロセスを,レコメンデーションベースのアプローチから仮説駆動型アプローチに移行することによって向上することを目的とした,"評価AI"フレームワークを実証的に検討する。
このフレームワークは、直接的なレコメンデーションを提供するのではなく、ユーザがより情報的な決定をサポートするための仮説を証明し、証明する。
しかし、現在の行動実験から得られた結果は、意思決定のパフォーマンスが著しく改善せず、提供されたエビデンスへのユーザエンゲージメントが制限され、結果として従来のAIシステムと同じような認知プロセスがもたらされることを示している。
これらの結果にもかかわらず、このフレームワークは将来の研究におけるさらなる探索の約束を保っている。
関連論文リスト
- Negotiating the Shared Agency between Humans & AI in the Recommender System [1.4249472316161877]
ユーザエージェンシーに関する懸念は、固有の不透明性(情報非対称性)とアルゴリズムにおける一方的な出力(パワー非対称性)の性質から生じている。
我々は,エージェントの種類がユーザの知覚や経験にどのように影響するかを理解し,人間とAIの対話システムのためのガイドラインや設計を洗練するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2024-03-23T19:23:08Z) - Towards the New XAI: A Hypothesis-Driven Approach to Decision Support Using Evidence [9.916507773707917]
We describe and evaluation an approach for hypothesis-driven AI based on the Weight of Evidence (WoE) framework。
仮説駆動アプローチは,提案手法と比較して決定精度を高め,信頼度を低下させることを示す。
論文 参考訳(メタデータ) (2024-02-02T10:28:24Z) - Pioneering EEG Motor Imagery Classification Through Counterfactual
Analysis [26.859082755430595]
我々は,反実的説明(CE)に対する新しい非生成的アプローチを導入し,探求する。
本手法は,時間周波数解析から得られたパッチを戦略的に交換することで,モデルの意思決定過程を評価する。
実験結果は,提案手法の有効性を検証するだけでなく,モデルの予測能力に対する人間的信頼を高めるためにも有効である。
論文 参考訳(メタデータ) (2023-11-10T08:22:09Z) - The Participatory Turn in AI Design: Theoretical Foundations and the
Current State of Practice [64.29355073494125]
本稿は、既存の理論文献を合成して、AI設計における「参加的転換」を掘り下げることを目的としている。
我々は、最近発表された研究および12人のAI研究者および実践者に対する半構造化インタビューの分析に基づいて、AI設計における参加実践の現状に関する実証的な知見を述べる。
論文 参考訳(メタデータ) (2023-10-02T05:30:42Z) - Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。
本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。
ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2023-08-24T03:11:45Z) - E-NER: Evidential Deep Learning for Trustworthy Named Entity Recognition [69.87816981427858]
ほとんどの名前付きエンティティ認識(NER)システムは、モデル不確実性を定量化する必要性を無視して、モデルパフォーマンスの改善に重点を置いている。
Evidential Deep Learning (EDL) は、最近、分類タスクの予測不確実性を明示的にモデル化するための有望な解決策として提案されている。
本稿では、従来のEDLに2つの不確実性誘導損失条件を導入し、一連の不確実性誘導訓練戦略を導入することにより、E-NERという信頼性の高いNERフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T02:36:16Z) - Debiasing Recommendation by Learning Identifiable Latent Confounders [49.16119112336605]
コンバウンディングバイアスは、ユーザの露出とフィードバックの両方に影響を与える未測定変数の存在によって生じる。
既存の手法では,(1) 未測定変数について不確定な仮定を行うか,(2) 潜伏した共同創設者を直接ユーザの露出から推測する。
本稿では、上記の非識別問題の解決にプロキシ変数の集合を利用する新しい方法、すなわち、識別可能なデコノウ(iDCF)を提案する。
論文 参考訳(メタデータ) (2023-02-10T05:10:26Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - Justification of Recommender Systems Results: A Service-based Approach [4.640835690336653]
本稿では,サービスモデルを用いて商品とのインタラクションのすべての段階に関するレビューから経験データを抽出する,新たな正当化手法を提案する。
ユーザスタディでは,提案手法を,推奨システムの結果の正当性を反映したベースラインと比較した。
我々のモデルは、好奇心のレベルが異なるユーザや、認知の必要度(NfC)の低いユーザによって、より高いインタフェース適合度と満足度の評価を受けた。
これらの知見は、推薦システムの結果を正当化するためのサービスモデルの導入を奨励するが、多様なインタラクションニーズに適合するパーソナライズ戦略の調査を推奨する。
論文 参考訳(メタデータ) (2022-11-07T11:08:19Z) - Efficient Real-world Testing of Causal Decision Making via Bayesian
Experimental Design for Contextual Optimisation [12.37745209793872]
文脈的意思決定の評価と改善のためのデータ収集のためのモデルに依存しないフレームワークを提案する。
過去の治療課題の後悔をデータ効率で評価するために,本手法を用いた。
論文 参考訳(メタデータ) (2022-07-12T01:20:11Z) - Inverse Online Learning: Understanding Non-Stationary and Reactionary
Policies [79.60322329952453]
エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。
一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。
本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。
UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
論文 参考訳(メタデータ) (2022-03-14T17:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。