論文の概要: Language Models Exhibit Inconsistent Biases Towards Algorithmic Agents and Human Experts
- arxiv url: http://arxiv.org/abs/2602.22070v1
- Date: Wed, 25 Feb 2026 16:18:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.902269
- Title: Language Models Exhibit Inconsistent Biases Towards Algorithmic Agents and Human Experts
- Title(参考訳): アルゴリズムエージェントと人間専門家への不整合バイアスを排除した言語モデル
- Authors: Jessica Y. Bo, Lillio Mok, Ashton Anderson,
- Abstract要約: 大規模な言語モデルは、様々なソースからの情報を処理しなければならない意思決定タスクにますます使われています。
本稿では,人間の意思決定者がアルゴリズムの予測に偏りを示すアルゴリズム回避現象について考察する。
我々は,8つの異なるLCMが人的専門家あるいはアルゴリズムエージェントとしてフレーム化される際の意思決定タスクをどのように委譲するかを評価する。
- 参考スコア(独自算出の注目度): 12.32714011634175
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are increasingly used in decision-making tasks that require them to process information from a variety of sources, including both human experts and other algorithmic agents. How do LLMs weigh the information provided by these different sources? We consider the well-studied phenomenon of algorithm aversion, in which human decision-makers exhibit bias against predictions from algorithms. Drawing upon experimental paradigms from behavioural economics, we evaluate how eightdifferent LLMs delegate decision-making tasks when the delegatee is framed as a human expert or an algorithmic agent. To be inclusive of different evaluation formats, we conduct our study with two task presentations: stated preferences, modeled through direct queries about trust towards either agent, and revealed preferences, modeled through providing in-context examples of the performance of both agents. When prompted to rate the trustworthiness of human experts and algorithms across diverse tasks, LLMs give higher ratings to the human expert, which correlates with prior results from human respondents. However, when shown the performance of a human expert and an algorithm and asked to place an incentivized bet between the two, LLMs disproportionately choose the algorithm, even when it performs demonstrably worse. These discrepant results suggest that LLMs may encode inconsistent biases towards humans and algorithms, which need to be carefully considered when they are deployed in high-stakes scenarios. Furthermore, we discuss the sensitivity of LLMs to task presentation formats that should be broadly scrutinized in evaluation robustness for AI safety.
- Abstract(参考訳): 大規模な言語モデルは、人の専門家やアルゴリズムエージェントなど、さまざまなソースからの情報を処理しなければならない意思決定タスクにますます使われています。
LLMは、これらの異なるソースから提供される情報をどのように重み付けしますか?
本稿では,人間の意思決定者がアルゴリズムの予測に偏りを示すアルゴリズム回避現象について考察する。
本研究では,行動経済学の実験的パラダイムに基づいて,人的専門家やアルゴリズムエージェントとして委任された場合,8つの異なるLLMが意思決定タスクをどのように委任するかを評価する。
評価形式を別途包括的に検討するため,各エージェントに対する信頼に関する直接的な問い合わせを通じてモデル化し,両エージェントのパフォーマンスのテキスト内例を提供することでモデル化した2つのタスク提示を行った。
人間の専門家とアルゴリズムの信頼性を様々なタスクで評価するよう促されると、LLMは人間の専門家に高い評価を与え、人間の回答者の以前の結果と相関する。
しかし、人間の専門家とアルゴリズムのパフォーマンスを示し、両者の間にインセンティブを与えるよう依頼すると、LLMは明らかに悪いパフォーマンスであってもアルゴリズムを不当に選択する。
これらの矛盾した結果は、LLMが人間やアルゴリズムに対する一貫性のないバイアスを符号化する可能性があることを示唆している。
さらに、AIの安全性を評価する上で、広範囲に精査すべきプレゼンテーションフォーマットに対するLLMの感度について論じる。
関連論文リスト
- A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳(メタデータ) (2025-04-12T01:27:49Z) - Human aversion? Do AI Agents Judge Identity More Harshly Than Performance [0.06554326244334868]
我々は,大規模言語モデルに基づくAIエージェントがどのように人間の入力を評価し,統合するかを検討する。
AIシステムは人間のアドバイスを体系的に減らし、アルゴリズムの誤りよりも人間の誤りを厳しく罰する。
論文 参考訳(メタデータ) (2025-03-31T02:05:27Z) - Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳(メタデータ) (2024-11-13T10:42:11Z) - EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳(メタデータ) (2024-10-08T17:54:03Z) - Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。
このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
論文 参考訳(メタデータ) (2024-06-13T11:33:30Z) - Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice [4.029252551781513]
本稿では,認知モデルとしての大規模言語モデルの有用性を高める新しい手法を提案する。
生態学的に有効な算術的データセットに基づいて事前訓練されたLLMは、従来の認知モデルよりも人間の行動を予測する。
論文 参考訳(メタデータ) (2024-05-29T17:37:14Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳(メタデータ) (2023-02-13T16:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。