論文の概要: Chain-of-Thought Reasoning In The Wild Is Not Always Faithful

• arxiv url: http://arxiv.org/abs/2503.08679v3
• Date: Wed, 19 Mar 2025 19:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:33:04.152448
• Title: Chain-of-Thought Reasoning In The Wild Is Not Always Faithful
• Title（参考訳）: 野生でのチェーン・オブ・サードの推論は、常に忠実ではない
• Authors: Iván Arcuschin, Jett Janiak, Robert Krzyzanowski, Senthooran Rajamanoharan, Neel Nanda, Arthur Conmy,
• Abstract要約: CoT(Chain-of-Thought)推論は最先端のAI能力を大幅に進歩させたものだ。 人工バイアスのない現実的なプロンプトで不信なCoTが発生することを示す。 具体的には、モデルが二分問題に対する回答において、その暗黙のバイアスを合理化していることが分かる。
• 参考スコア（独自算出の注目度）: 3.048751803239144
• License:
• Abstract: Chain-of-Thought (CoT) reasoning has significantly advanced state-of-the-art AI capabilities. However, recent studies have shown that CoT reasoning is not always faithful, i.e. CoT reasoning does not always reflect how models arrive at conclusions. So far, most of these studies have focused on unfaithfulness in unnatural contexts where an explicit bias has been introduced. In contrast, we show that unfaithful CoT can occur on realistic prompts with no artificial bias. Our results reveal non-negligible rates of several forms of unfaithful reasoning in frontier models: Sonnet 3.7 (16.3%), DeepSeek R1 (5.3%) and ChatGPT-4o (7.0%) all answer a notable proportion of question pairs unfaithfully. Specifically, we find that models rationalize their implicit biases in answers to binary questions ("implicit post-hoc rationalization"). For example, when separately presented with the questions "Is X bigger than Y?" and "Is Y bigger than X?", models sometimes produce superficially coherent arguments to justify answering Yes to both questions or No to both questions, despite such responses being logically contradictory. We also investigate restoration errors (Dziri et al., 2023), where models make and then silently correct errors in their reasoning, and unfaithful shortcuts, where models use clearly illogical reasoning to simplify solving problems in Putnam questions (a hard benchmark). Our findings raise challenges for AI safety work that relies on monitoring CoT to detect undesired behavior.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論は最先端のAI能力を大幅に進歩させたものだ。 しかし、最近の研究では、CoT推論が必ずしも忠実であるとは限らないことが示されており、すなわちCoT推論はモデルが結論に達する方法を常に反映しているわけではない。 これまでのところ、これらの研究のほとんどは、明示的な偏見が導入された不自然な文脈における不誠実さに焦点を当ててきた。 対照的に、人工バイアスのない現実的なプロンプトで不誠実なCoTが発生することが示される。 この結果から,Sonnet 3.7 (16.3%),DeepSeek R1 (5.3%),ChatGPT-4o (7.0%) といったフロンティアモデルにおいて,いくつかの不信な推論の非否定的な割合が,不信な質問対の顕著な割合に答えていることがわかった。 具体的には、モデルが二分問題(単純なポストホック合理化)に対する答えにおいて、その暗黙のバイアスを合理化していることが分かる。 例えば、"Is X larger than Y?" と "Is Y larger than X?" の質問を別々に提示する場合、モデルは、論理的に矛盾するにもかかわらず、答えを正当化するために表面的に一貫性のある議論を生み出すことがある。 また, 復元誤差(Dziri et al , 2023)についても検討し, パットナム問題(ハードベンチマーク)の問題を解くために, モデルが明らかに非論理的推論(英語版)を用いて無作為なショートカットを行った。 我々の発見は、望ましくない行動を検出するためにCoTの監視に依存するAI安全作業の課題を提起する。

関連論文リスト

• Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
  我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
  論文  参考訳（メタデータ） (2025-01-14T14:31:45Z)
• Chain-of-Probe: Examing the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)
• Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting [43.458726163197824]
  大規模言語モデル(LLM)は、最終的な出力を与える前にステップバイステップの推論を生成することで、多くのタスクにおいて強力なパフォーマンスを達成することができる。 モデル予測の真の理由を,CoT の説明が体系的に誤って表現できることが判明した。
  論文  参考訳（メタデータ） (2023-05-07T22:44:25Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。