論文の概要: Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models

• arxiv url: http://arxiv.org/abs/2604.02485v1
• Date: Thu, 02 Apr 2026 19:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.189116
• Title: Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models
• Title（参考訳）: Falsifyに失敗する: 言語モデルにおける確認バイアスの評価と緩和
• Authors: Ayush Rajesh Jhaveri, Anthony GX-Chen, Ilia Sucholutsky, Eunsol Choi,
• Abstract要約: 大規模言語モデル(LLM)は、人間の心理学からの規則発見研究に適応することで、確証バイアスを示す。 LLMは確証バイアスを示し、しばしば三重項を偽造するよりも、仮説を確証するために提案する。
• 参考スコア（独自算出の注目度）: 38.162539966977484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Confirmation bias, the tendency to seek evidence that supports rather than challenges one's belief, hinders one's reasoning ability. We examine whether large language models (LLMs) exhibit confirmation bias by adapting the rule-discovery study from human psychology: given a sequence of three numbers (a "triple"), an agent engages in an interactive feedback loop where it (1) proposes a new triple, (2) receives feedback on whether it satisfies the hidden rule, and (3) guesses the rule. Across eleven LLMs of multiple families and scales, we find that LLMs exhibit confirmation bias, often proposing triples to confirm their hypothesis rather than trying to falsify it. This leads to slower and less frequent discovery of the hidden rule. We further explore intervention strategies (e.g., encouraging the agent to consider counter examples) developed for humans. We find prompting LLMs with such instruction consistently decreases confirmation bias in LLMs, improving rule discovery rates from 42% to 56% on average. Lastly, we mitigate confirmation bias by distilling intervention-induced behavior into LLMs, showing promising generalization to a new task, the Blicket test. Our work shows that confirmation bias is a limitation of LLMs in hypothesis exploration, and that it can be mitigated via injecting interventions designed for humans.
• Abstract（参考訳）: 確証バイアス(confirmation bias)とは、自分の信念に異議を唱えるよりも支持する証拠を求める傾向であり、自分の推論能力を妨げる。 大規模言語モデル(LLM)が人間の心理学からのルール発見研究に適応して確証バイアスを示すか否かを検討する。3つの数字(トリプル)を与えられたエージェントは,(1)新しいトリプルを提案する対話的なフィードバックループに従事し,(2)隠れたルールを満たすかどうかのフィードバックを受け,(3)ルールを推測する。 複数の家系と規模からなる11のLSMに対して、LSMは確証バイアスを示し、しばしばその仮説を偽造しようとするのではなく、その仮説を確証するために三重項を提案する。 これにより、隠された規則の発見が遅く、頻度の低いものとなる。 我々はさらに,人間に対する介入戦略(例えば,エージェントに対策事例を検討するよう促す)を探求する。 このような命令で LLM を誘導することは LLM の確認バイアスを一定に減少させ,ルール発見率を平均 42% から 56% に向上させる。 最後に, 介入誘起挙動をLLMに蒸留することにより, 確認バイアスを軽減し, 新しいタスクであるBlicketテストへの有望な一般化を示す。 我々の研究は、確認バイアスは仮説探索におけるLLMの制限であり、人間のために設計された介入を注入することで緩和できることを示している。

関連論文リスト

• Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts [79.1081247754018]
  大規模言語モデル(LLM)は、推論、計画、意思決定のタスクに広くデプロイされている。 そこで我々は, 接触探索質問(CSQ)に基づく枠組みを提案し, 騙しの可能性を定量化する。
  論文  参考訳（メタデータ） (2025-08-08T14:46:35Z)
• Is LLMs Hallucination Usable? LLM-based Negative Reasoning for Fake News Detection [18.424817270460913]
  本研究では, 自己強化型推論補正手法を提案する。 それは、ニュースに対する一般的な合理的な推論と間違った理解(否定的な推論)の両方をもたらす。 3つの人気のある偽ニュースデータセットで検証した実験結果から,本手法の優位性が確認された。
  論文  参考訳（メタデータ） (2025-03-12T08:29:59Z)
• Understanding the Dark Side of LLMs' Intrinsic Self-Correction [58.12627172032851]
  LLMの応答を改善するために,本質的な自己補正法が提案された。 近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。 内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T15:39:31Z)
• Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
  大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。 本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:28:05Z)
• Large Language Models Show Human-like Social Desirability Biases in Survey Responses [12.767606361552684]
  人格評価が推定された場合,Large Language Models (LLMs) が特徴次元の望ましい端に向かってスコアを歪めていることを示す。 このバイアスは、GPT-4/3.5、Claude 3、Llama 3、PaLM-2を含む全ての試験モデルに存在する。 すべての質問のリバースコーディングはバイアスレベルを低下させるが、それらを取り除くことはできず、この効果はアクセプションバイアスによるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-05-09T19:02:53Z)
• "I'm Not Sure, But...": Examining the Impact of Large Language Models' Uncertainty Expression on User Reliance and Trust [51.542856739181474]
  不確実性の自然言語表現の違いが、参加者の信頼、信頼、全体的なタスクパフォーマンスにどのように影響するかを示す。 その結果, 一人称表情は, 参加者のシステムに対する信頼度を低下させ, 参加者の正確性を高めつつ, システムの回答に同調する傾向にあることがわかった。 以上の結果から,不確実性の自然言語表現の使用は,LLMの過度な依存を軽減するための効果的なアプローチである可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T16:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。