論文の概要: Unveiling and Causalizing CoT: A Causal Pespective

• arxiv url: http://arxiv.org/abs/2502.18239v1
• Date: Tue, 25 Feb 2025 14:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:21:42.669088
• Title: Unveiling and Causalizing CoT: A Causal Pespective
• Title（参考訳）: CoTの暴露と因果関係--因果関係の考察
• Authors: Jiarun Fu, Lizhong Ding, Hao Li, Pengqi Li, Qiuning Wei, Xu Chen,
• Abstract要約: CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のCoTは、推論を人間に理解させるのに苦労しています。 我々はCoTを因果的観点から明らかにし、すべての推論ステップの正確性と理解性の両方を保証する。
• 参考スコア（独自算出の注目度）: 13.181744520232545
• License:
• Abstract: Although Chain-of-Thought (CoT) has achieved remarkable success in enhancing the reasoning ability of large language models (LLMs), the mechanism of CoT remains a ``black box''. Even if the correct answers can frequently be obtained, existing CoTs struggle to make the reasoning understandable to human. In this paper, we unveil and causalize CoT from a causal perspective to ensure both correctness and understandability of all reasoning steps (to the best of our knowledge, the first such). We model causality of CoT via structural causal models (SCM) to unveil the reasoning mechanism of CoT. To measure the causality of CoT, we define the CoT Average Causal Effect (CACE) to test the causal relations between steps. For those steps without causality (wrong or unintelligible steps), we design a role-playing causal query algorithm to causalize these steps, resulting a causalized CoT with all steps correct and understandable. Experimental results on both open-source and closed-source LLMs demonstrate that the causal errors commonly in steps are effectively corrected and the reasoning ability of LLMs is significantly improved.
• Abstract（参考訳）: CoT (Chain-of-Thought) は,大規模言語モデル (LLM) の推論能力の向上に成功しているが,CoT のメカニズムは 'black box'' のままである。 たとえ正しい答えが頻繁に得られても、既存のCoTは推論を人間に理解させるのに苦労する。 本稿では,CoTを因果的観点から明らかにし,すべての推論ステップの正当性と可解性を(私たちの知る限りでは,まず第一に)保証する。 構造因果モデル(SCM)を用いてCoTの因果関係をモデル化し,CoTの因果関係を明らかにする。 CoTの因果性を測定するために,ステップ間の因果関係をテストするために,CoT平均因果効果(CACE)を定義した。 因果関係のないステップでは、これらのステップを因果関係にするためのロールプレイング因果関係クエリーアルゴリズムを設計し、すべてのステップを正しく理解可能な因果関係のCoTを作成する。 オープンソース LLM とクローズドソース LLM の両方の実験結果から,ステップの因果誤差を効果的に補正し,LLM の推論能力を大幅に向上することを示した。

関連論文リスト

• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Chain-of-Probe: Examing the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners [19.40385041079461]
  大きな言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 まず、CoTステップの粒度におけるCoT忠実度問題について検討し、2つの推論パラダイムを特定した。 次に、推論中の文脈、CoT、回答の因果関係を共同で分析する。
  論文  参考訳（メタデータ） (2024-05-29T09:17:46Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。