論文の概要: Who Do LLMs Trust? Human Experts Matter More Than Other LLMs
- arxiv url: http://arxiv.org/abs/2602.13568v1
- Date: Sat, 14 Feb 2026 03:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.209686
- Title: Who Do LLMs Trust? Human Experts Matter More Than Other LLMs
- Title(参考訳): LLMは誰が信頼できるのか? 専門家は他のLLMよりも重要か
- Authors: Anooshka Bajaj, Zoran Tiganj,
- Abstract要約: 大規模言語モデル(LLM)は、他のエージェントの回答、ツールアウトプット、ヒューマンレコメンデーションといった社会的情報に遭遇する環境において、ますます運用されるようになっている。
本稿では、LLMが類似した影響パターンを示し、他のLLMからのフィードバックよりも人間からのフィードバックを特権的に受けられるかどうかを検討する。
- 参考スコア(独自算出の注目度): 4.125187280299246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly operate in environments where they encounter social information such as other agents' answers, tool outputs, or human recommendations. In humans, such inputs influence judgments in ways that depend on the source's credibility and the strength of consensus. This paper investigates whether LLMs exhibit analogous patterns of influence and whether they privilege feedback from humans over feedback from other LLMs. Across three binary decision-making tasks, reading comprehension, multi-step reasoning, and moral judgment, we present four instruction-tuned LLMs with prior responses attributed either to friends, to human experts, or to other LLMs. We manipulate whether the group is correct and vary the group size. In a second experiment, we introduce direct disagreement between a single human and a single LLM. Across tasks, models conform significantly more to responses labeled as coming from human experts, including when that signal is incorrect, and revise their answers toward experts more readily than toward other LLMs. These results reveal that expert framing acts as a strong prior for contemporary LLMs, suggesting a form of credibility-sensitive social influence that generalizes across decision domains.
- Abstract(参考訳): 大規模言語モデル(LLM)は、他のエージェントの回答、ツールアウトプット、ヒューマンレコメンデーションといった社会的情報に遭遇する環境において、ますます運用されるようになっている。
人間では、そのような入力はソースの信頼性とコンセンサスの強さに依存する方法で判断に影響を与える。
本稿では、LLMが類似した影響パターンを示し、他のLLMからのフィードバックよりも人間からのフィードバックを特権的に受けられるかどうかを検討する。
3つの二分決定課題、理解、多段階推論、道徳的判断を総合して、友人、人間の専門家、または他のLLMに起因した事前応答を持つ4つの命令調整LDMを提示する。
グループのサイズが正しいかどうかを操作します。
2つ目の実験では、1人の人間と1人のLDMの間に直接の相違を導入する。
タスク全体にわたって、モデルは人間の専門家からの反応とラベル付けされた応答に大きく適合し、そのシグナルがいつ間違っているか、そして他のLSMよりも専門家に対する回答をより容易に修正する。
これらの結果は、専門家フレーミングが現代のLCMの強力な先駆者であり、決定領域をまたいで一般化する信頼性に敏感な社会的影響の形式を示唆していることを示している。
関連論文リスト
- LLM or Human? Perceptions of Trust and Information Quality in Research Summaries [4.14522715241162]
大規模言語モデル(LLM)は、科学的な抽象化の生成と編集にますます利用されている。
普及しているにもかかわらず、読者がLLM生成サマリーをどのように認識しているかはほとんど分かっていない。
論文 参考訳(メタデータ) (2026-01-22T00:53:38Z) - Multi-Agent Evolve: LLM Self-Improve through Co-evolution [53.00458074754831]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める大きな可能性を証明している。
近年のSelf-Play RL法は,ゲームやGoのパラダイムの成功に触発されて,人間に注釈を付けることなくLSM推論能力を向上することを目指している。
数学,推論,一般知識Q&Aなど多種多様な課題の解決において,LLMが自己発展できるフレームワークであるMulti-Agent Evolve(MAE)を提案する。
論文 参考訳(メタデータ) (2025-10-27T17:58:02Z) - Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。
我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。
以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文 参考訳(メタデータ) (2025-05-28T01:31:54Z) - Large Language Models are overconfident and amplify human bias [1.014221700787766]
我々は,大規模言語モデル(LLM)が最も広く普及している人間のバイアスの1つ、過信を継承するかどうかを評価する。
私たちが研究している5つのLCMは、すべて過信であり、答えが20%から60%の間正しい確率を過信しています。
人間はより高度なLSMと同様の精度を持つが、過信ははるかに低い。
論文 参考訳(メタデータ) (2025-05-04T15:21:34Z) - Understanding the Dark Side of LLMs' Intrinsic Self-Correction [58.12627172032851]
LLMの応答を改善するために,本質的な自己補正法が提案された。
近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。
内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
論文 参考訳(メタデータ) (2024-12-19T15:39:31Z) - Investigating Context Effects in Similarity Judgements in Large Language Models [6.421776078858197]
大規模言語モデル(LLM)は、自然言語テキストの理解と生成におけるAIモデルの能力に革命をもたらした。
命令バイアスによる人的判断とLCMのアライメントに関する調査が進行中である。
論文 参考訳(メタデータ) (2024-08-20T10:26:02Z) - Do LLMs exhibit human-like response biases? A case study in survey
design [66.1850490474361]
大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。
アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。
9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
論文 参考訳(メタデータ) (2023-11-07T15:40:43Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。