Fugu-MT 論文翻訳(概要): Unveiling Confirmation Bias in Chain-of-Thought Reasoning

論文の概要: Unveiling Confirmation Bias in Chain-of-Thought Reasoning

arxiv url: http://arxiv.org/abs/2506.12301v1
Date: Sat, 14 Jun 2025 01:30:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-17 17:28:45.782719
Title: Unveiling Confirmation Bias in Chain-of-Thought Reasoning
Title（参考訳）: チェーン・オブ・ソート推論における確認バイアスの発見
Authors: Yue Wan, Xiaowei Jia, Xiang Lorraine Li,
Abstract要約: 大型言語モデル(LLM)の推論能力を高めるために、チェーン・オブ・シークレット(CoT)プロンプトが広く採用されている。本研究は認知心理学におけるテキスト確認バイアスのレンズを通してCoTの行動を理解する新しい視点を示す。
参考スコア（独自算出の注目度）: 12.150655660758359
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Chain-of-thought (CoT) prompting has been widely adopted to enhance the reasoning capabilities of large language models (LLMs). However, the effectiveness of CoT reasoning is inconsistent across tasks with different reasoning types. This work presents a novel perspective to understand CoT behavior through the lens of \textit{confirmation bias} in cognitive psychology. Specifically, we examine how model internal beliefs, approximated by direct question-answering probabilities, affect both reasoning generation ($Q \to R$) and reasoning-guided answer prediction ($QR \to A$) in CoT. By decomposing CoT into a two-stage process, we conduct a thorough correlation analysis in model beliefs, rationale attributes, and stage-wise performance. Our results provide strong evidence of confirmation bias in LLMs, such that model beliefs not only skew the reasoning process but also influence how rationales are utilized for answer prediction. Furthermore, the interplay between task vulnerability to confirmation bias and the strength of beliefs also provides explanations for CoT effectiveness across reasoning tasks and models. Overall, this study provides a valuable insight for the needs of better prompting strategies that mitigate confirmation bias to enhance reasoning performance. Code is available at \textit{https://github.com/yuewan2/biasedcot}.
Abstract（参考訳）: 大型言語モデル(LLM)の推論能力を高めるために、チェーン・オブ・思想(CoT)プロンプトが広く採用されている。しかし、CoT推論の有効性は、異なる推論型を持つタスク間で矛盾する。本研究は認知心理学における「textit{confirmation bias}」のレンズを通してCoTの行動を理解する新しい視点を示す。具体的には、直接質問応答確率によって近似された内的信念が、CoTにおける推論生成(Q \to R$)と推論誘導応答予測(QR \to A$)の両方にどのように影響するかを検討する。 CoTを2段階のプロセスに分解することで、モデル信念、合理的属性、ステージワイドパフォーマンスの完全な相関解析を行う。その結果, LLMにおける確証バイアスの強い証拠が得られ, モデル信念が推論過程を歪ませるだけでなく, 解答予測に有理性をどのように活用するかにも影響を及ぼすことがわかった。さらに、タスク脆弱性と確認バイアスと信念の強さとの相互作用は、推論タスクやモデル間でのCoTの有効性の説明も提供する。全体として、本研究は、検証バイアスを緩和して推論性能を向上させる戦略の促進の必要性について、貴重な知見を提供する。コードは \textit{https://github.com/yuewan2/biasedcot} で公開されている。

関連論文リスト

A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [53.18562650350898]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文参考訳（メタデータ） (2025-05-29T18:55:05Z)
Reasoning Beyond Bias: A Study on Counterfactual Prompting and Chain of Thought Reasoning [0.0]
回答の選択肢によって学習された規則性の違いは、モデルの好みを予測し、人間のテストテイク戦略を反映していることが示される。我々は2つの新しい方法を紹介した: 思考の連鎖(CoT)と素素数CoT(Agnostically Primed CoT)による反実的プロンプト(APriCoT)である。以上の結果から,予測バイアスの緩和には「システム-2」のようなプロセスが必要であることが示唆された。
論文参考訳（メタデータ） (2024-08-16T10:34:50Z)
A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
論文参考訳（メタデータ） (2024-06-18T04:07:13Z)
Towards Better Chain-of-Thought: A Reflection on Effectiveness and Faithfulness [17.6082037230676]
CoT(Chain-of-Thought)プロンプトは、異なる推論タスクの下で様々なパフォーマンスを示す。これまでの作業は、それを評価しようとするが、CoTに影響を与えるパターンの詳細な分析を提供するには不足している。我々は,CoTの有効性が問題困難,情報ゲイン,情報フローなどのパフォーマンス改善に影響を及ぼす重要な要因を同定する。
論文参考訳（メタデータ） (2024-05-29T09:17:46Z)
Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
論文参考訳（メタデータ） (2024-03-28T06:28:35Z)
Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
論文参考訳（メタデータ） (2023-07-17T01:08:39Z)
Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する無効な実演でもCoT推論が可能であることを示す。
論文参考訳（メタデータ） (2022-12-20T05:20:54Z)
Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。これは、説明に表される論理述語に基づいて、反実仮説を生成する。そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文参考訳（メタデータ） (2022-05-25T03:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。