論文の概要: Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners

• arxiv url: http://arxiv.org/abs/2405.18915v1
• Date: Wed, 29 May 2024 09:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-30 17:49:44.193262
• Title: Towards Faithful Chain-of-Thought: Large Language Models are Bridging Reasoners
• Title（参考訳）: 信頼に満ちた結束に向けて:大規模言語モデルがレゾネーターを橋渡ししている
• Authors: Jiachun Li, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao,
• Abstract要約: 大きな言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 まず、CoTステップの粒度におけるCoT忠実度問題について検討し、2つの推論パラダイムを特定した。 次に、推論中の文脈、CoT、回答の因果関係を共同で分析する。
• 参考スコア（独自算出の注目度）: 19.40385041079461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) suffer from serious unfaithful chain-of-thought (CoT) issues. Previous work attempts to measure and explain it but lacks in-depth analysis within CoTs and does not consider the interactions among all reasoning components jointly. In this paper, we first study the CoT faithfulness issue at the granularity of CoT steps, identify two reasoning paradigms: centralized reasoning and distributed reasoning, and find their relationship with faithfulness. Subsequently, we conduct a joint analysis of the causal relevance among the context, CoT, and answer during reasoning. The result proves that, when the LLM predicts answers, it can recall correct information missing in the CoT from the context, leading to unfaithfulness issues. Finally, we propose the inferential bridging method to mitigate this issue, in which we use the attribution method to recall information as hints for CoT generation and filter out noisy CoTs based on their semantic consistency and attribution scores. Extensive experiments demonstrate that our approach effectively alleviates the unfaithful CoT problem.
• Abstract（参考訳）: 大言語モデル(LLM)は、深刻な不信の連鎖(CoT)問題に悩まされる。 従来の研究では測定と説明が試みられていたが、CoTの内部での詳細な分析は欠如しており、すべての推論コンポーネント間の相互作用を共同で考慮していない。 本稿では,まずCoTステップの粒度におけるCoT忠実度問題について検討し,集中的推論と分散推論という2つの推論パラダイムを同定し,信頼度との関係を明らかにする。 その後,文脈,CoT,回答の因果関係に関する共同分析を行った。 その結果、LLMが回答を予測すると、文脈からCoTに欠けている正しい情報を思い出すことができ、不誠実な問題を引き起こすことが証明された。 最後に,この問題を緩和するための推論ブリッジ手法を提案する。そこでは属性法を用いてCoT生成のヒントとして情報をリコールし,その意味的一貫性と属性スコアに基づいてノイズの多いCoTをフィルタリングする。 大規模な実験は、我々のアプローチが不誠実なCoT問題を効果的に軽減することを示した。

関連論文リスト

• Rewarding Curse: Analyze and Mitigate Reward Modeling Issues for LLM Reasoning [17.6082037230676]
  CoT(Chain-of-Thought)プロンプトは、異なる推論タスクの下で様々なパフォーマンスを示す。 これまでの作業は、それを評価しようとするが、CoTに影響を与えるパターンの詳細な分析を提供するには不足している。 我々は,CoTの有効性が問題困難,情報ゲイン,情報フローなどのパフォーマンス改善に影響を及ぼす重要な要因を同定する。
  論文  参考訳（メタデータ） (2025-03-07T07:20:24Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
  CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。 本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:07:13Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Focus on Your Question! Interpreting and Mitigating Toxic CoT Problems in Commonsense Reasoning [21.951313919964484]
  大規模言語モデルは高レベルのコモンセンス推論能力を示す。 CoTライクな手法は、もともとは正しい答えが間違っていた、というかなりの数に繋がる。 帰属的追跡法と因果的追跡法を用いて,モデルの内部動作機構を探索する。
  論文  参考訳（メタデータ） (2024-02-28T14:09:02Z)
• Interpretable Knowledge Tracing via Response Influence-based Counterfactual Reasoning [10.80973695116047]
  知識追跡は、コンピュータ支援教育と知的学習システムにおいて重要な役割を担っている。 現在のアプローチでは、より説明可能な予測を達成するために心理的影響を調査している。 RCKTは,新しい応答型インフルエンサー・インフルエンサー・インフルエンス・インフルエンサー・ナレッジ・トレース・フレームワークである。
  論文  参考訳（メタデータ） (2023-12-01T11:27:08Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Towards Better Chain-of-Thought Prompting Strategies: A Survey [60.75420407216108]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の促進戦略として使用すると,その印象的な強度を示す。 近年,CoTの促進効果が注目されている。 この調査は、関連する研究全般の参考になるかもしれない。
  論文  参考訳（メタデータ） (2023-10-08T01:16:55Z)
• Stress Testing Chain-of-Thought Prompting for Large Language Models [0.16317061277456998]
  本報告では,大規模言語モデル(LLM)の多段階推論能力を向上する上で,CoT(Chain-of-Thought)の有効性について検討する。 各種タスクにおけるGPT-3の性能に及ぼすCoT次数,CoT値,CoT演算子の影響を解析した。
  論文  参考訳（メタデータ） (2023-09-28T17:21:33Z)
• Knowledge-Driven CoT: Exploring Faithful Reasoning in LLMs for Knowledge-intensive Question Answering [17.672572064705445]
  CoT(Chain-of-Thought)を備えた大規模言語モデル(LLM)は、様々な下流タスクにおいて顕著な推論能力を示している。 我々は、外部知識との相互作用を通じてCoTの推論トレースを検証・修正する、KD-CoT(Knowled-Driven Chain-of-Thought)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:23:55Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。