論文の概要: Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models
- arxiv url: http://arxiv.org/abs/2310.14491v1
- Date: Mon, 23 Oct 2023 01:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:22:04.074958
- Title: Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models
- Title(参考訳): 言語モデルのマルチステップ推論能力の機械論的解釈に向けて
- Authors: Yifan Hou, Jiaoda Li, Yu Fei, Alessandro Stolfo, Wangchunshu Zhou,
Guangtao Zeng, Antoine Bosselut, Mrinmaya Sachan
- Abstract要約: 言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
- 参考スコア(独自算出の注目度): 107.07851578154242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has shown that language models (LMs) have strong multi-step
(i.e., procedural) reasoning capabilities. However, it is unclear whether LMs
perform these tasks by cheating with answers memorized from pretraining corpus,
or, via a multi-step reasoning mechanism. In this paper, we try to answer this
question by exploring a mechanistic interpretation of LMs for multi-step
reasoning tasks. Concretely, we hypothesize that the LM implicitly embeds a
reasoning tree resembling the correct reasoning process within it. We test this
hypothesis by introducing a new probing approach (called MechanisticProbe) that
recovers the reasoning tree from the model's attention patterns. We use our
probe to analyze two LMs: GPT-2 on a synthetic task (k-th smallest element),
and LLaMA on two simple language-based reasoning tasks (ProofWriter & AI2
Reasoning Challenge). We show that MechanisticProbe is able to detect the
information of the reasoning tree from the model's attentions for most
examples, suggesting that the LM indeed is going through a process of
multi-step reasoning within its architecture in many cases.
- Abstract(参考訳): 近年の研究では、言語モデル(LM)は多段階推論能力(手続き的推論)が強いことが示されている。
しかし、lmsが事前学習したコーパスから記憶された回答を騙すか、あるいは多段階推論機構を介してこれらのタスクを実行するかは定かではない。
本稿では,多段階推論タスクにおけるLMの機械的解釈を探索することにより,この問題に対処する。
具体的には、LMが正しい推論プロセスに類似した推論木を暗黙的に埋め込んでいることを仮定する。
我々は,モデル注意パターンから推論木を復元する新しい探索手法(MechanisticProbe)を導入することにより,この仮説を検証する。
GPT-2を合成タスク(k番目の最小要素)で、LLaMAを2つの単純な言語ベースの推論タスク(ProofWriter & AI2 Reasoning Challenge)で分析する。
メカニスティックプローブは、ほとんどの例において、モデルの注意から推論木に関する情報を検出できることを示し、LMが実際にアーキテクチャ内の多段階の推論プロセスを通過していることを示唆している。
関連論文リスト
- How to think step-by-step: A mechanistic understanding of
chain-of-thought reasoning [48.09058204728753]
理解の欠如は、CoT(Chain-of-Thought)の促進を促進するモデルの内部メカニズムに大きく影響する。
本研究では,CoT推論を一視点から示す大規模言語モデル内の神経サブ構造について検討する。
論文 参考訳(メタデータ) (2024-02-28T13:14:20Z) - Understanding the Reasoning Ability of Language Models From the
Perspective of Reasoning Paths Aggregation [117.32019595678771]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびMWPデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳(メタデータ) (2024-02-05T18:25:51Z) - Leveraging Structured Information for Explainable Multi-hop Question
Answering and Reasoning [14.219239732584368]
本研究では,マルチホップ質問応答のための抽出された意味構造(グラフ)の構築と活用について検討する。
実験結果と人的評価の結果から、我々のフレームワークはより忠実な推論連鎖を生成し、2つのベンチマークデータセットのQA性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-11-07T05:32:39Z) - Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study
on Syllogism [19.590120229602103]
大規模言語モデル(LLM)は、ステップバイステップの推論命令、例えばチェーン・オブ・シント(CoT)プロンプトを利用する。
本研究では, 否定に着目したLCMのステップバイステップ推論能力について検討する。
論文 参考訳(メタデータ) (2023-10-23T12:40:41Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳(メタデータ) (2023-02-13T22:34:02Z) - Interpretability in the Wild: a Circuit for Indirect Object
Identification in GPT-2 small [68.879023473838]
間接オブジェクト識別 (IOI) と呼ばれる自然言語タスクにおいて, GPT-2 の小型化が果たす役割について解説する。
我々の知る限り、この調査は言語モデルにおいて「野生」の自然な振る舞いをリバースエンジニアリングする最大のエンドツーエンドの試みである。
論文 参考訳(メタデータ) (2022-11-01T17:08:44Z) - Language Models Are Greedy Reasoners: A Systematic Formal Analysis of
Chain-of-Thought [10.524051272257614]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトが与えられた顕著な推論能力を示している。
本稿では, PrOntoQAと呼ばれる合成質問応答データセットを提案し, それぞれの例を合成世界モデルとして生成する。
これにより、生成された連鎖を形式解析の象徴的な証明に解析することができる。
論文 参考訳(メタデータ) (2022-10-03T21:34:32Z) - Faithful Reasoning Using Large Language Models [12.132449274592668]
因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。
我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。
我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-30T13:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。