論文の概要: Human aversion? Do AI Agents Judge Identity More Harshly Than Performance
- arxiv url: http://arxiv.org/abs/2504.13871v1
- Date: Mon, 31 Mar 2025 02:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:52.628493
- Title: Human aversion? Do AI Agents Judge Identity More Harshly Than Performance
- Title（参考訳）: 人間の嫌悪? AIエージェントはパフォーマンスよりも身元を悪く判断する?
- Authors: Yuanjun Feng, Vivek Chodhary, Yash Raj Shrestha,
- Abstract要約: 我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。
AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
- 参考スコア（独自算出の注目度）: 0.06554326244334868
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines the understudied role of algorithmic evaluation of human judgment in hybrid decision-making systems, a critical gap in management research. While extant literature focuses on human reluctance to follow algorithmic advice, we reverse the perspective by investigating how AI agents based on large language models (LLMs) assess and integrate human input. Our work addresses a pressing managerial constraint: firms barred from deploying LLMs directly due to privacy concerns can still leverage them as mediating tools (for instance, anonymized outputs or decision pipelines) to guide high-stakes choices like pricing or discounts without exposing proprietary data. Through a controlled prediction task, we analyze how an LLM-based AI agent weights human versus algorithmic predictions. We find that the AI system systematically discounts human advice, penalizing human errors more severely than algorithmic errors--a bias exacerbated when the agent's identity (human vs AI) is disclosed and the human is positioned second. These results reveal a disconnect between AI-generated trust metrics and the actual influence of human judgment, challenging assumptions about equitable human-AI collaboration. Our findings offer three key contributions. First, we identify a reverse algorithm aversion phenomenon, where AI agents undervalue human input despite comparable error rates. Second, we demonstrate how disclosure and positional bias interact to amplify this effect, with implications for system design. Third, we provide a framework for indirect LLM deployment that balances predictive power with data privacy. For practitioners, this research emphasize the need to audit AI weighting mechanisms, calibrate trust dynamics, and strategically design decision sequences in human-AI systems.
- Abstract（参考訳）: 本研究では,ハイブリッド意思決定システムにおける人的判断のアルゴリズム的評価の役割について検討する。
現状の文献では,アルゴリズム的アドバイスに従うことに対する人間の従順性に焦点が当てられているが,大規模言語モデル(LLM)に基づくAIエージェントがどのように人間の入力を評価し,統合するかを調べることによって,その視点を逆転させている。
プライバシー上の懸念からLSMを直接デプロイすることを禁止された企業は、依然としてそれらを仲介ツール(匿名出力や意思決定パイプラインなど)として活用して、プロプライエタリなデータを公開せずに、価格や割引などの高額な選択肢をガイドすることができます。
制御された予測タスクを通じて、LLMベースのAIエージェントが、人間とアルゴリズムによる予測をどのように重み付けするかを分析する。
エージェントのアイデンティティ(人間対AI)が開示され、人間の位置が第2位になると、バイアスが悪化する。
これらの結果から,AIが生み出す信頼度と,人間の判断の実際の影響との間には,公平な人間とAIのコラボレーションに関する仮定が欠落していることが明らかとなった。
私たちの発見には3つの重要な貢献があります。
まず、逆アルゴリズムの逆転現象を特定し、AIエージェントは、同等のエラー率にもかかわらず、人間の入力を過小評価する。
第二に、情報開示と位置バイアスがどのように相互作用してこの効果を増幅するかを示し、システム設計に影響を及ぼす。
第3に、予測パワーとデータプライバシのバランスをとる間接的なLCMデプロイメントのためのフレームワークを提供する。
実践者にとって、この研究は、AI重み付け機構の監査、信頼ダイナミクスの校正、人間-AIシステムにおける戦略的設計決定シーケンスの必要性を強調している。
関連論文リスト
- Human Decision-making is Susceptible to AI-driven Manipulation [87.24007555151452]
AIシステムは、ユーザの認知バイアスと感情的な脆弱性を利用して、有害な結果に向けてそれらを操縦する。
本研究では、経済的・感情的な意思決定の文脈におけるこのような操作に対する人間の感受性について検討した。
論文 参考訳（メタデータ） (2025-02-11T15:56:22Z) - To Err Is AI! Debugging as an Intervention to Facilitate Appropriate Reliance on AI Systems [11.690126756498223]
最適な人間とAIのコラボレーションのためのビジョンは、人間のAIシステムへの「適切な依存」を必要とする。
実際には、アウト・オブ・ディストリビューションデータにおける機械学習モデルの性能格差は、データセット固有のパフォーマンスフィードバックを信頼できないものにしている。
論文 参考訳（メタデータ） (2024-09-22T09:43:27Z) - Rolling in the deep of cognitive and AI biases [1.556153237434314]
我々は、AIが設計、開発、デプロイされる状況とは切り離せない社会技術システムとして理解する必要があると論じる。
我々は、人間の認知バイアスがAIフェアネスの概観の中核となる急進的な新しい方法論に従うことで、この問題に対処する。
我々は、人間にAIバイアスを正当化する新しいマッピングを導入し、関連する公正度と相互依存を検出する。
論文 参考訳（メタデータ） (2024-07-30T21:34:04Z) - A Decision Theoretic Framework for Measuring AI Reliance [23.353778024330165]
人間はしばしば人工知能(AI)システムの助けを借りて意思決定をする。
研究者は、補完的なパフォーマンスを達成する上で重要な要素として、人間がAIに適切に依存していることを確認する。
本稿では, 統計的決定理論に基づく信頼の形式的定義を提案し, 意思決定者がAIの推奨に従う確率として信頼の概念を分離する。
論文 参考訳（メタデータ） (2024-01-27T09:13:09Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Human Uncertainty in Concept-Based AI Systems [37.82747673914624]
概念に基づくAIシステムのコンテキストにおける人間の不確実性について検討する。
不確実な概念ラベルによるトレーニングは、概念ベースシステムにおける弱点を軽減するのに役立つ可能性がある。
論文 参考訳（メタデータ） (2023-03-22T19:17:57Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Learning Complementary Policies for Human-AI Teams [22.13683008398939]
本稿では,効果的な行動選択のための新しい人間-AI協調のための枠組みを提案する。
私たちのソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としています。
論文 参考訳（メタデータ） (2023-02-06T17:22:18Z) - Blessing from Human-AI Interaction: Super Reinforcement Learning in
Confounded Environments [19.944163846660498]
本稿では,データ駆動シーケンシャル意思決定に人間-AIインタラクションを活用する超強化学習のパラダイムを紹介する。
未測定のコンファウンディングを伴う意思決定プロセスでは、過去のエージェントによって取られたアクションは、未開示の情報に対する貴重な洞察を提供することができる。
我々は、いくつかの超政治学習アルゴリズムを開発し、その理論的性質を体系的に研究する。
論文 参考訳（メタデータ） (2022-09-29T16:03:07Z) - Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。
我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
論文 参考訳（メタデータ） (2020-04-15T15:58:05Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z) - Effect of Confidence and Explanation on Accuracy and Trust Calibration
in AI-Assisted Decision Making [53.62514158534574]
ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。
信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
論文 参考訳（メタデータ） (2020-01-07T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。