論文の概要: Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.11684v1
• Date: Tue, 15 Oct 2024 15:20:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:40.371067
• Title: Are UFOs Driving Innovation? The Illusion of Causality in Large Language Models
• Title（参考訳）: UFOはイノベーションを推進しているか? 大規模言語モデルにおける因果関係の錯覚
• Authors: María Victoria Carro, Francisca Gauna Selasco, Denise Alejandra Mester, Mario Alejandro Leiva,
• Abstract要約: 本研究では,大規模言語モデルが実世界の環境において因果関係の錯覚を生じさせるかどうかを考察する。 GPT-4o-Mini, Claude-3.5-Sonnet, Gemini-1.5-Pro によるニュース見出しの評価と比較を行った。 その結果,Claude-3.5-Sonnetは相関因果錯覚の最小度を示すモデルであることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Illusions of causality occur when people develop the belief that there is a causal connection between two variables with no supporting evidence. This cognitive bias has been proposed to underlie many societal problems including social prejudice, stereotype formation, misinformation and superstitious thinking. In this research we investigate whether large language models develop the illusion of causality in real-world settings. We evaluated and compared news headlines generated by GPT-4o-Mini, Claude-3.5-Sonnet, and Gemini-1.5-Pro to determine whether the models incorrectly framed correlations as causal relationships. In order to also measure sycophantic behavior, which occurs when a model aligns with a user's beliefs in order to look favorable even if it is not objectively correct, we additionally incorporated the bias into the prompts, observing if this manipulation increases the likelihood of the models exhibiting the illusion of causality. We found that Claude-3.5-Sonnet is the model that presents the lowest degree of causal illusion aligned with experiments on Correlation-to-Causation Exaggeration in human-written press releases. On the other hand, our findings suggest that while mimicry sycophancy increases the likelihood of causal illusions in these models, especially in GPT-4o-Mini, Claude-3.5-Sonnet remains the most robust against this cognitive bias.
• Abstract（参考訳）: 因果関係のIllusionsは、2つの変数の間に因果関係があり、支持する証拠がないという信念が発達した時に発生する。 この認知バイアスは、社会的偏見、ステレオタイプ形成、誤情報、迷信的思考など、多くの社会的問題を未然に解決するために提案されている。 本研究では,大規模言語モデルが実世界の環境において因果関係の錯覚を生じさせるかどうかを考察する。 我々は,GPT-4o-Mini,Claude-3.5-Sonnet,Gemini-1.5-Pro が生成したニュースの見出しを評価・比較し,モデル間の相関関係が因果関係であるかどうかを判断した。 また,モデルが客の信念と一致して客観的に正当でない場合でも好意的に見える場合に発生するサイコファンティックな行動を測定するために,この操作によって因果性の錯覚を示すモデルの可能性を増大させるかどうかを観察して,そのバイアスをプロンプトに付加する。 我々は,Claude-3.5-Sonnetが,人間によるプレスリリースの相関・因果関係の誇張実験と整合した最小の因果錯覚を示すモデルであることを見出した。 一方,本研究は,これらのモデル,特に GPT-4o-Mini において,模倣性は因果錯覚の可能性を増大させるが,Claude-3.5-Sonnet は認知バイアスに対して最も頑健であることが示唆された。

関連論文リスト

• Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models [0.1227734309612871]
  より大型のモデルからのデータを持つ微調整言語モデルは類似しているように見えるが、より大型のモデルよりも幻覚を呈することが多い。 1つの仮説は、より大きなモデルによって生成されたデータ上でモデルを微調整すると、幻覚に寄与する知識のミスマッチにつながるというものである。 未確認テストセットでは、より大きなモデルから生成されたデータに基づいて微調整された小さなモデルの方が、小さなモデルによって生成されたデータに基づいて微調整されたモデルと比較して、より間違った回答を得られることを示す。
  論文  参考訳（メタデータ） (2024-10-31T13:01:46Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• CELLO: Causal Evaluation of Large Vision-Language Models [9.928321287432365]
  因果推論は人間の知性の基本であり、現実世界の環境における効果的な意思決定に不可欠である。 我々は,人間と物体の相互作用を含む因果関係の微細で統一的な定義を導入する。 我々は,4段階の因果関係に関する14,094の因果関係質問からなる新しいデータセットであるCellOを構築した。
  論文  参考訳（メタデータ） (2024-06-27T12:34:52Z)
• Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [62.48505112245388]
  エージェント相互作用の現代的表現の因果認識を詳細に検討する。 近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。 因果アノテーションを用いた潜在表現を正規化するための計量学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:57:03Z)
• Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
  近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。 本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。 以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
  論文  参考訳（メタデータ） (2023-08-01T01:39:25Z)
• Learning for Counterfactual Fairness from Observational Data [62.43249746968616]
  公正な機械学習は、人種、性別、年齢などの特定の保護された(感受性のある)属性によって記述されるある種のサブグループに対して、学習モデルのバイアスを取り除くことを目的としている。 カウンターファクトフェアネスを達成するための既存の手法の前提条件は、データに対する因果モデルの事前の人間の知識である。 本研究では,新しいフレームワークCLAIREを提案することにより,因果関係を付与せずに観測データから対実的に公正な予測を行う問題に対処する。
  論文  参考訳（メタデータ） (2023-07-17T04:08:29Z)
• Being Right for Whose Right Reasons? [11.120861224127303]
  本稿では,アノテータの人口統計情報を付加した人間の合理化アノテーションのコレクションである,その第1種と考えられるものについて述べる。 感情分析と常識推論にまたがる3つのデータセットと6つの人口統計群をカバーしている。 モデルが古いアノテータと/または白いアノテータの整合性に偏っていることが分かりました。
  論文  参考訳（メタデータ） (2023-06-01T13:06:43Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Active Bayesian Causal Inference [72.70593653185078]
  因果発見と推論を統合するための完全ベイズ能動学習フレームワークであるアクティブベイズ因果推論(ABCI)を提案する。 ABCIは因果関係のモデルと関心のクエリを共同で推論する。 我々のアプローチは、完全な因果グラフの学習のみに焦点を当てた、いくつかのベースラインよりも、よりデータ効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-06-04T22:38:57Z)
• Superdeterministic hidden-variables models I: nonequilibrium and signalling [0.0]
  まず、超決定論の概要を述べ、その文献における様々な批判について論じる。 ベルの直感的な批判は、これらのモデルは陰謀的だ」と述べた。
  論文  参考訳（メタデータ） (2020-03-26T15:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。