論文の概要: Do Large Language Models Show Biases in Causal Learning?

• arxiv url: http://arxiv.org/abs/2412.10509v1
• Date: Fri, 13 Dec 2024 19:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:02:48.350169
• Title: Do Large Language Models Show Biases in Causal Learning?
• Title（参考訳）: 大規模言語モデルは因果学習におけるバイアスを示すか?
• Authors: Maria Victoria Carro, Francisca Gauna Selasco, Denise Alejandra Mester, Margarita Gonzales, Mario A. Leiva, Maria Vanina Martinez, Gerardo I. Simari,
• Abstract要約: 因果学習は、利用可能な情報に基づいて因果推論を行う能力を開発するための認知過程である。 本研究では,大言語モデル(LLM)が因果錯覚を発生させるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 3.0264418764647605
• License:
• Abstract: Causal learning is the cognitive process of developing the capability of making causal inferences based on available information, often guided by normative principles. This process is prone to errors and biases, such as the illusion of causality, in which people perceive a causal relationship between two variables despite lacking supporting evidence. This cognitive bias has been proposed to underlie many societal problems, including social prejudice, stereotype formation, misinformation, and superstitious thinking. In this research, we investigate whether large language models (LLMs) develop causal illusions, both in real-world and controlled laboratory contexts of causal learning and inference. To this end, we built a dataset of over 2K samples including purely correlational cases, situations with null contingency, and cases where temporal information excludes the possibility of causality by placing the potential effect before the cause. We then prompted the models to make statements or answer causal questions to evaluate their tendencies to infer causation erroneously in these structured settings. Our findings show a strong presence of causal illusion bias in LLMs. Specifically, in open-ended generation tasks involving spurious correlations, the models displayed bias at levels comparable to, or even lower than, those observed in similar studies on human subjects. However, when faced with null-contingency scenarios or temporal cues that negate causal relationships, where it was required to respond on a 0-100 scale, the models exhibited significantly higher bias. These findings suggest that the models have not uniformly, consistently, or reliably internalized the normative principles essential for accurate causal learning.
• Abstract（参考訳）: 因果学習は、しばしば規範的原理によって導かれる、利用可能な情報に基づいて因果推論を行う能力を開発するための認知過程である。 この過程は、2つの変数間の因果関係を認識できるという因果関係の錯覚のような誤りや偏見に起因している。 この認知バイアスは、社会的偏見、ステレオタイプ形成、誤情報、迷信的思考など、多くの社会的問題を未然に解決するために提案されている。 本研究では,大規模言語モデル (LLM) が実世界でも, 実験室でも, 因果学習や推論の文脈において, 因果錯覚を発生させるかどうかを検討する。 そこで本研究では, 純粋に相関性のある事例, 偶発性のある状況, 時間的情報が因果関係の可能性を排除し, 因果関係に潜在的な影響を付与する事例を含む, 2K 以上のサンプルのデータセットを構築した。 次に、モデルに、これらの構造化された設定で誤用を推測する傾向を評価するために、ステートメントを作成したり、因果関係の質問に答えるように促しました。 LLMには因果錯覚バイアスが強くみられた。 特に、刺激的な相関を含むオープン・エンド・ジェネレーションのタスクでは、モデルが人間の被験者に類似した研究で観察されたものと同等、またはそれより低いレベルでバイアスを示した。 しかし、0-100スケールで応答する必要のある因果関係を否定するnull-constanencyのシナリオや時間的手がかりに直面した場合、モデルのバイアスは著しく高かった。 これらの結果は、モデルが正確な因果学習に不可欠な規範的原則を一様、一貫した、あるいは確実に内部化していないことを示唆している。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models [0.0]
  本研究では,大規模言語モデルが実世界の環境において因果関係の錯覚を生じさせるかどうかを考察する。 GPT-4o-Mini, Claude-3.5-Sonnet, Gemini-1.5-Pro によるニュース見出しの評価と比較を行った。 その結果,Claude-3.5-Sonnetは相関因果錯覚の最小度を示すモデルであることがわかった。
  論文  参考訳（メタデータ） (2024-10-15T15:20:49Z)
• CELLO: Causal Evaluation of Large Vision-Language Models [9.928321287432365]
  因果推論は人間の知性の基本であり、現実世界の環境における効果的な意思決定に不可欠である。 我々は,人間と物体の相互作用を含む因果関係の微細で統一的な定義を導入する。 我々は,4段階の因果関係に関する14,094の因果関係質問からなる新しいデータセットであるCellOを構築した。
  論文  参考訳（メタデータ） (2024-06-27T12:34:52Z)
• Identifiable Latent Polynomial Causal Models Through the Lens of Change [82.14087963690561]
  因果表現学習は、観測された低レベルデータから潜在的な高レベル因果表現を明らかにすることを目的としている。 主な課題の1つは、識別可能性(identifiability)として知られるこれらの潜伏因果モデルを特定する信頼性の高い保証を提供することである。
  論文  参考訳（メタデータ） (2023-10-24T07:46:10Z)
• Nonlinearity, Feedback and Uniform Consistency in Causal Structural Learning [0.8158530638728501]
  Causal Discoveryは、観測データから因果構造を学習するための自動探索手法を見つけることを目的としている。 この論文は因果発見における2つの疑問に焦点をあてる: (i) k-三角形の忠実性の代替定義を提供すること (i) (i) はガウス分布の族に適用されるとき強い忠実性よりも弱いこと (ii) 修正版の強忠実性が成り立つという仮定のもとに。
  論文  参考訳（メタデータ） (2023-08-15T01:23:42Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Active Bayesian Causal Inference [72.70593653185078]
  因果発見と推論を統合するための完全ベイズ能動学習フレームワークであるアクティブベイズ因果推論(ABCI)を提案する。 ABCIは因果関係のモデルと関心のクエリを共同で推論する。 我々のアプローチは、完全な因果グラフの学習のみに焦点を当てた、いくつかのベースラインよりも、よりデータ効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-04T22:38:57Z)
• Systematic Evaluation of Causal Discovery in Visual Model Based Reinforcement Learning [76.00395335702572]
  AIと因果関係の中心的な目標は、抽象表現と因果構造を共同で発見することである。 因果誘導を研究するための既存の環境は、複雑なタスク固有の因果グラフを持つため、この目的には適していない。 本研究の目的は,高次変数の学習表現と因果構造の研究を促進することである。
  論文  参考訳（メタデータ） (2021-07-02T05:44:56Z)
• To do or not to do: finding causal relations in smart homes [2.064612766965483]
  本稿では,環境と観測データの混合実験から因果モデルを学ぶための新しい手法を提案する。 我々の手法の核心は、選択された介入の使用であり、特に、介入が不可能な変数を考慮に入れた学習である。 本手法をスマートホームシミュレーション,すなわち因果関係を知ることが説明可能なシステムへの道を開くユースケースに応用する。
  論文  参考訳（メタデータ） (2021-05-20T22:36:04Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。