論文の概要: Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists?

• arxiv url: http://arxiv.org/abs/2505.09614v1
• Date: Wed, 14 May 2025 17:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.562498
• Title: Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists?
• Title（参考訳）: 言語エージェントは人間の因果関係を模倣する
• Authors: Anthony GX-Chen, Dongyan Lin, Mandana Samiei, Doina Precup, Blake A. Richards, Rob Fergus, Kenneth Marino,
• Abstract要約: 言語モデル(LM)エージェントは、自律的な意思決定者としてますます使われている。 発達心理学の「Blicket Test」パラダイムを用いて、LMの因果関係を探究し、推論する能力について検討した。 LMは共通で直感的な解離因果関係を確実に推測するが、体系的には異常な、しかし等しく(時にはそれ以上)、共役関係の証明に苦しむ。 人間の成人に類似したバイアスが出現し、LMが訓練データから深層推論を継承した可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 44.565305564838035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language model (LM) agents are increasingly used as autonomous decision-makers who need to actively gather information to guide their decisions. A crucial cognitive skill for such agents is the efficient exploration and understanding of the causal structure of the world -- key to robust, scientifically grounded reasoning. Yet, it remains unclear whether LMs possess this capability or exhibit systematic biases leading to erroneous conclusions. In this work, we examine LMs' ability to explore and infer causal relationships, using the well-established "Blicket Test" paradigm from developmental psychology. We find that LMs reliably infer the common, intuitive disjunctive causal relationships but systematically struggle with the unusual, yet equally (or sometimes even more) evidenced conjunctive ones. This "disjunctive bias" persists across model families, sizes, and prompting strategies, and performance further declines as task complexity increases. Interestingly, an analogous bias appears in human adults, suggesting that LMs may have inherited deep-seated reasoning heuristics from their training data. To this end, we quantify similarities between LMs and humans, finding that LMs exhibit adult-like inference profiles (but not children-like). Finally, we propose a test-time sampling method which explicitly samples and eliminates hypotheses about causal relationships from the LM. This scalable approach significantly reduces the disjunctive bias and moves LMs closer to the goal of scientific, causally rigorous reasoning.
• Abstract（参考訳）: 言語モデル(LM)エージェントは、意思決定を導くために積極的に情報を集める必要がある自律的な意思決定者として、ますます使われています。 このようなエージェントにとって重要な認知スキルは、堅牢で科学的に根ざした推論の鍵となる、世界の因果構造の効率的な探索と理解である。 しかし、LMがこの能力を持っているか、あるいは誤った結論に至る体系的なバイアスを示すかは、まだ不明である。 本研究では,発達心理学から確立された"Blicket Test"パラダイムを用いて,LMの因果関係を探究し,推論する能力について検討する。 LMは共通で直感的な解離因果関係を確実に推測するが、体系的には異常な、しかし等しく(時にはそれ以上)、共役関係の証明に苦しむ。 この「分離バイアス」は、モデルファミリ、サイズ、および促進戦略にまたがって持続し、タスクの複雑さが増加するにつれてパフォーマンスはさらに低下する。 興味深いことに、人間の成人に類似したバイアスが出現し、LMが訓練データから深層推論ヒューリスティックを継承した可能性があることを示唆している。 この目的のために, LMと人間との類似性を定量化し, LMは大人のような推論プロファイルを示す(子供のようなものではない)。 最後に、LMから因果関係に関する仮説を明示的にサンプリングし、除去するテスト時間サンプリング手法を提案する。 このスケーラブルなアプローチは、解離バイアスを著しく減少させ、LMを科学的、因果的に厳格な推論の目標に近づける。

関連論文リスト

• Large Language Models Are Human-Like Internally [44.996518290660816]
  近年の認知モデル研究は、より大きな言語モデル(LM)が人間の読書行動に適合していないことを報告している。 従来の結論は、LMの最終層に排他的に焦点を絞ったものであったと論じる。 解析の結果,より大きなLMの内部層から派生した次の単語確率は,人間の文処理データと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T18:48:32Z)
• Position: Theory of Mind Benchmarks are Broken for Large Language Models [41.832853832803046]
  このポジションペーパーは、大きな言語モデルが新しいパートナーにどのように適応するかを直接テストできないため、マインドベンチマークの大多数が壊れていると主張している。 この機能的心の理論は、その行動に関する予測に対して合理的な反応をした後、文脈内でエージェントに適応する能力である。
  論文  参考訳（メタデータ） (2024-12-27T16:30:12Z)
• Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions [25.809599403713506]
  大規模言語モデル(LLM)は、社会をシミュレートし、多様な社会的タスクを実行するために、多くの研究で採用されている。 LLMは、人為的なデータに曝されるため、社会的偏見に影響を受けやすい。 本研究では,多エージェントLDM相互作用における性バイアスの存在について検討し,これらのバイアスを軽減するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T15:28:05Z)
• How Likely Do LLMs with CoT Mimic Human Reasoning? [31.86489714330338]
  大規模言語モデル(LLM)から推論能力を引き出すための有望な手法として思考の連鎖が出現する 我々は,LLMにおける問題指導,推論,解答の関係を理解するために因果解析を用いる。
  論文  参考訳（メタデータ） (2024-02-25T10:13:04Z)
• Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
  提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。 誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。 我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。 最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
  論文  参考訳（メタデータ） (2024-01-12T18:03:30Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• ACRE: Abstract Causal REasoning Beyond Covariation [90.99059920286484]
  因果誘導における現在の視覚システムの系統的評価のための抽象因果分析データセットについて紹介する。 Blicket実験における因果発見の研究の流れに触発され、独立シナリオと介入シナリオのいずれにおいても、以下の4種類の質問で視覚的推論システムに問い合わせる。 純粋なニューラルモデルは確率レベルのパフォーマンスの下で連想戦略に向かう傾向があるのに対し、ニューロシンボリックな組み合わせは後方ブロッキングの推論に苦しむ。
  論文  参考訳（メタデータ） (2021-03-26T02:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。