論文の概要: Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners

• arxiv url: http://arxiv.org/abs/2405.18915v1
• Date: Wed, 29 May 2024 09:17:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:49:44.193262
• Title: Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners
• Title（参考訳）: 信頼に満ちた結束に向けて:大規模言語モデルがレゾネーターを橋渡ししている
• Authors: Jiachun Li, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 大きな言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 まず、CoTステップの粒度におけるCoT忠実度問題について検討し、2つの推論パラダイムを特定した。 次に、推論中の文脈、CoT、回答の因果関係を共同で分析する。
• 参考スコア（独自算出の注目度）: 19.40385041079461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) suffer from serious unfaithful chain-of-thought (CoT) issues. Previous work attempts to measure and explain it but lacks in-depth analysis within CoTs and does not consider the interactions among all reasoning components jointly. In this paper, we first study the CoT faithfulness issue at the granularity of CoT steps, identify two reasoning paradigms: centralized reasoning and distributed reasoning, and find their relationship with faithfulness. Subsequently, we conduct a joint analysis of the causal relevance among the context, CoT, and answer during reasoning. The result proves that, when the LLM predicts answers, it can recall correct information missing in the CoT from the context, leading to unfaithfulness issues. Finally, we propose the inferential bridging method to mitigate this issue, in which we use the attribution method to recall information as hints for CoT generation and filter out noisy CoTs based on their semantic consistency and attribution scores. Extensive experiments demonstrate that our approach effectively alleviates the unfaithful CoT problem.
• Abstract（参考訳）: 大言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 従来の研究では測定と説明が試みられていたが、CoTの内部での詳細な分析は欠如しており、すべての推論コンポーネント間の相互作用を共同で考慮していない。 本稿では,まずCoTステップの粒度におけるCoT忠実度問題について検討し,集中的推論と分散推論という2つの推論パラダイムを同定し,信頼度との関係を明らかにする。 その後,文脈,CoT,回答の因果関係に関する共同分析を行った。 その結果、LLMが回答を予測すると、文脈からCoTに欠けている正しい情報を思い出すことができ、不誠実な問題を引き起こすことが証明された。 最後に,この問題を緩和するための推論ブリッジ手法を提案する。そこでは属性法を用いてCoT生成のヒントとして情報をリコールし,その意味的一貫性と属性スコアに基づいてノイズの多いCoTをフィルタリングする。 大規模な実験は、我々のアプローチが不誠実なCoT問題を効果的に軽減することを示した。

関連論文リスト

• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning [21.951313919964484]
  大規模言語モデルは高レベルのコモンセンス推論能力を示す。 CoTライクな手法は、もともとは正しい答えが間違っていた、というかなりの数に繋がる。 帰属的追跡法と因果的追跡法を用いて,モデルの内部動作機構を探索する。
  論文  参考訳（メタデータ） (2024-02-28T14:09:02Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。