論文の概要: Do Chains-of-Thoughts of Large Language Models Suffer from Hallucinations, Cognitive Biases, or Phobias in Bayesian Reasoning?

• arxiv url: http://arxiv.org/abs/2503.15268v1
• Date: Wed, 19 Mar 2025 14:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:00.753331
• Title: Do Chains-of-Thoughts of Large Language Models Suffer from Hallucinations, Cognitive Biases, or Phobias in Bayesian Reasoning?
• Title（参考訳）: バイーシアン推論におけるハロシン化,認知バイアス,フォビアスによる大言語モデルの関連性
• Authors: Roberto Araya,
• Abstract要約: CoT(Chain-of-Thought)を用いた推論が可能な大規模言語モデル(LLM) LLMは自然の周波数、全体オブジェクト、エンボディドといった生態学的に有効な戦略を自律的に説明しない。 それらは、象徴的な推論と、生態学的に有効な戦略の回避または恐怖症に対する永続的なバイアスを示す。
• 参考スコア（独自算出の注目度）: 1.90365714903665
• License:
• Abstract: Learning to reason and carefully explain arguments is central to students' cognitive, mathematical, and computational thinking development. This is particularly challenging in problems under uncertainty and in Bayesian reasoning. With the new generation of large language models (LLMs) capable of reasoning using Chain-of-Thought (CoT), there is an excellent opportunity to learn with them as they explain their reasoning through a dialogue with their artificial internal voice. It is an engaging and excellent opportunity to learn Bayesian reasoning. Furthermore, given that different LLMs sometimes arrive at opposite solutions, CoT generates opportunities for deep learning by detailed comparisons of reasonings. However, unlike humans, we found that they do not autonomously explain using ecologically valid strategies like natural frequencies, whole objects, and embodied heuristics. This is unfortunate, as these strategies help humans avoid critical mistakes and have proven pedagogical value in Bayesian reasoning. In order to overcome these biases and aid understanding and learning, we included prompts that induce LLMs to use these strategies. We found that LLMs with CoT incorporate them but not consistently. They show persistent biases towards symbolic reasoning and avoidance or phobia of ecologically valid strategies.
• Abstract（参考訳）: 議論を推論し、慎重に説明することを学ぶことは、学生の認知、数学的、計算的思考開発の中心である。 これは不確実性の下での問題やベイズ的推論において特に困難である。 CoT(Chain-of-Thought)を用いた推論が可能な新世代の大規模言語モデル(LLM)では,その推論を人工内耳との対話を通じて説明できる,優れた機会がある。 ベイズ的推論を学ぶには熱心で素晴らしい機会である。 さらに、異なるLLMが反対の解に現れることを考えると、CoTは推論の詳細な比較によって深層学習の機会を生み出す。 しかし、人間とは違って、自然の周波数、全体物体、具体的ヒューリスティックスといった生態学的に有効な戦略を用いて自律的に説明できないことがわかった。 これらの戦略は人間にとって致命的な過ちを回避し、ベイズ的推論において教育的価値を証明しているため、これは不運である。 これらのバイアスを克服し、理解と学習を支援するために、LSMにこれらの戦略を使うよう促すプロンプトを含めました。 私たちは、LLMとCoTが組み合わさっているが、一貫したものではないことに気づきました。 それらは、象徴的な推論と、生態学的に有効な戦略の回避または恐怖症に対する永続的なバイアスを示す。

関連論文リスト

• Training Large Language Models to Reason in a Continuous Latent Space [84.5618790930725]
  我々は,制約のない潜在空間における大規模言語モデル(LLM)推論の可能性を探るため,新しいパラダイムであるCoconut (Chain of Continuous Thought)を導入する。 実験により、ココナッツはいくつかの推論タスクにおいてLLMを効果的に増強できることが示されている。 これらの知見は、潜伏推論の可能性を実証し、将来の研究に価値ある洞察を与える。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• Failure Modes of LLMs for Causal Reasoning on Narratives [51.19592551510628]
  本研究では,大言語モデル(LLM)の因果推論能力について,物語から因果関係を推定する代表的な問題から検討する。 最新の言語モデルでさえ、物語の提示とパラメトリック知識の両方において、信頼できないショートカットに依存していることがわかった。
  論文  参考訳（メタデータ） (2024-10-31T12:48:58Z)
• On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
  大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。 微調整は暗記を重くするが,常に一般化性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:31:54Z)
• Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration From Cognitive Psychology [13.964263002704582]
  提案手法は,Chains of Thoughtプロンプトを用いても,修正されたCRT問題を解く際の誤り率が高いことを示す。 具体的には、従来の質問と比べて平均精度が最大50%低下した。 この発見は、LLMが人間に匹敵する真の数学的推論能力を持っているという信念に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T05:01:56Z)
• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Conditional and Modal Reasoning in Large Language Models [1.999925939110439]
  我々は条件やモーダルを含む推論パターンに焦点を当てる。 私たちがテストしたすべてのLLMは、条件やモダルでいくつかの基本的な間違いを犯しました。 最高のLCMでさえ、モーダル推論において基本的な誤りを犯す。
  論文  参考訳（メタデータ） (2024-01-30T16:56:54Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。