論文の概要: Calibrating Reasoning in Language Models with Internal Consistency
- arxiv url: http://arxiv.org/abs/2405.18711v1
- Date: Wed, 29 May 2024 02:44:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 21:04:06.784763
- Title: Calibrating Reasoning in Language Models with Internal Consistency
- Title（参考訳）: 内部整合性を持つ言語モデルにおける推論の校正
- Authors: Zhihui Xie, Jizhou Guo, Tong Yu, Shuai Li,
- Abstract要約: 大規模言語モデル(LLM)は、様々な推論タスクにおいて、チェーン・オブ・ソート(CoT)プロンプトのようなテクニックによって支援された印象的な機能を示している。
内部表現のレンズによるLLMにおけるCoT推論について検討する。
内部整合性の高い高重み付け推論経路によるCoT推論の校正手法を提案する。
- 参考スコア（独自算出の注目度）: 18.24350001344488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive capabilities in various reasoning tasks, aided by techniques like chain-of-thought (CoT) prompting that elicits verbalized reasoning. However, LLMs often generate text with obvious mistakes and contradictions, raising doubts about their ability to robustly process and utilize generated rationales. In this work, we investigate CoT reasoning in LLMs through the lens of internal representations, focusing on how these representations are influenced by generated rationales. Our preliminary analysis reveals that while generated rationales improve answer accuracy, inconsistencies emerge between the model's internal representations in middle layers and those in final layers, potentially undermining the reliability of their reasoning processes. To address this, we propose internal consistency as a measure of the model's confidence by examining the agreement of latent predictions decoded from intermediate layers. Extensive empirical studies across different models and datasets demonstrate that internal consistency effectively distinguishes between correct and incorrect reasoning paths. Motivated by this, we propose a new approach to calibrate CoT reasoning by up-weighting reasoning paths with high internal consistency, resulting in a significant boost in reasoning performance. Further analysis uncovers distinct patterns in attention and feed-forward modules across layers, providing insights into the emergence of internal inconsistency. In summary, our results demonstrate the potential of using internal representations for self-evaluation of LLMs.
- Abstract（参考訳）: 大型言語モデル (LLM) は様々な推論タスクにおいて印象的な能力を示しており、例えばチェーン・オブ・シント (CoT) のような技術によって助けられ、言語化された推論が引き起こされる。
しかし、LSMは明らかな誤りや矛盾のあるテキストを生成することが多く、それらが堅牢に処理し、生成した有理性を利用する能力に疑問を呈している。
本研究では, 内部表現のレンズによるLLMにおけるCoT推論について検討し, これらの表現が生成した有理数にどのように影響するかに着目した。
予備分析の結果、生成した有理値が解答精度を向上させる一方で、中間層におけるモデルの内部表現と最終層における表現との間に矛盾が生じ、それらの推論プロセスの信頼性を損なう可能性が示唆された。
そこで本研究では,中間層から復号された遅延予測の一致を検証し,モデルの信頼性の尺度として内部整合性を提案する。
異なるモデルとデータセットにわたる広範な実験研究により、内部の一貫性が正しい推論経路と間違った推論経路を効果的に区別することを示した。
そこで本研究では,内部整合性の高い高重み付け推論経路によるCoT推論の校正手法を提案する。
さらなる分析により、レイヤ間の注意パターンとフィードフォワードモジュールが明らかになり、内部の不整合の出現に関する洞察が得られる。
本研究は, LLMの自己評価に内部表現を用いることの可能性を示すものである。
関連論文リスト
- Internal Consistency and Self-Feedback in Large Language Models: A Survey [19.647988281648253]
我々は、内部整合性の統一的な視点を使用し、欠陥や幻覚を推論するための説明を提供する。
自己フィードバックと呼ばれる内部一貫性をマイニングできる効果的な理論的枠組みを導入する。
論文 参考訳（メタデータ） (2024-07-19T17:59:03Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。
広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。
本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
論文 参考訳（メタデータ） (2024-04-25T10:03:14Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。
LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。
我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文 参考訳（メタデータ） (2024-04-08T14:15:56Z) - Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳（メタデータ） (2024-02-20T12:58:14Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳（メタデータ） (2023-12-22T19:55:58Z) - From Heuristic to Analytic: Cognitively Motivated Strategies for
Coherent Physical Commonsense Reasoning [66.98861219674039]
ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。
以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-10-24T19:46:04Z) - Question Decomposition Improves the Faithfulness of Model-Generated
Reasoning [23.34325378824462]
大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。
一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。
このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。
分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
論文 参考訳（メタデータ） (2023-07-17T00:54:10Z) - CRITIC: Large Language Models Can Self-Correct with Tool-Interactive
Critiquing [139.77117915309023]
CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。
自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
論文 参考訳（メタデータ） (2023-05-19T15:19:44Z) - Competence-Based Analysis of Language Models [21.43498764977656]
CALM (Competence-based Analysis of Language Models) は、特定のタスクの文脈におけるLLM能力を調べるために設計された。
我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。
これらの介入を用いてCALMのケーススタディを行い、様々な語彙推論タスクにおけるLCM能力の分析と比較を行う。
論文 参考訳（メタデータ） (2023-03-01T08:53:36Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。