論文の概要: Toward Mechanistic Explanation of Deductive Reasoning in Language Models
- arxiv url: http://arxiv.org/abs/2510.09340v1
- Date: Fri, 10 Oct 2025 12:49:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 00:38:48.995515
- Title: Toward Mechanistic Explanation of Deductive Reasoning in Language Models
- Title（参考訳）: 言語モデルにおける帰納的推論の力学的説明に向けて
- Authors: Davide Maltoni, Matteo Ferrara,
- Abstract要約: そこで本研究では,小言語モデルを用いて,基礎となるルールを学習することで,帰納的推論課題を解くことができることを示す。
以上の結果から,誘導頭部はルール完了とルール連鎖の実施において中心的な役割を担っていることが明らかとなった。
- 参考スコア（独自算出の注目度）: 2.196417293457801
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent large language models have demonstrated relevant capabilities in solving problems that require logical reasoning; however, the corresponding internal mechanisms remain largely unexplored. In this paper, we show that a small language model can solve a deductive reasoning task by learning the underlying rules (rather than operating as a statistical learner). A low-level explanation of its internal representations and computational circuits is then provided. Our findings reveal that induction heads play a central role in the implementation of the rule completion and rule chaining steps involved in the logical inference required by the task.
- Abstract（参考訳）: 近年の大規模言語モデルでは、論理的推論を必要とする問題の解決に関連性があることが示されているが、それに対応する内部メカニズムはほとんど解明されていない。
本稿では,統計的学習者としての運用ではなく,基礎となるルールを学習することで,減算的推論課題を小さな言語モデルで解くことができることを示す。
次に、その内部表現と計算回路の低レベル説明を行う。
この結果から, 帰納的指導は, 作業に必要な論理的推論に関わるルール完了とルール連鎖のステップの実装において, 中心的な役割を担っていることが明らかとなった。
関連論文リスト
- LogiDynamics: Unraveling the Dynamics of Inductive, Abductive and Deductive Logical Inferences in LLM Reasoning [74.0242521818214]
本稿では,大言語モデル(LLM)におけるインダクティブ(システム1)と帰納的/帰納的(システム2)の推論の比較力学を体系的に検討する。
我々は、制御されたアナログ推論環境、多様度(テキスト、視覚、記号)、難易度、タスク形式(MCQ/フリーテキスト)を利用する。
我々の分析によると、System 2のパイプラインは一般的に、特に視覚的/象徴的なモダリティや難しいタスクにおいて優れており、System 1はテキストやより簡単な問題に対して競争力がある。
論文 参考訳（メタデータ） (2025-02-16T15:54:53Z) - Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。
回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。
提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
論文 参考訳（メタデータ） (2025-02-13T07:19:05Z) - MIRAGE: Evaluating and Explaining Inductive Reasoning Process in Language Models [19.81485079689837]
帰納的および帰納的段階における大規模言語モデルの能力を評価する。
モデルが正しい帰納的規則を使わずに常に正しい推論を行う傾向があることが分かる。
帰納的推論プロセスでは、モデルは機能空間における現在のテスト例に近い観察された事実に焦点を当てる傾向があります。
論文 参考訳（メタデータ） (2024-10-12T14:12:36Z) - Reasoning Circuits in Language Models: A Mechanistic Interpretation of Syllogistic Inference [13.59675117792588]
言語モデル(LM)に関する最近の研究は、体系的な推論原理を学べるかという議論を巻き起こしている。
本稿では,シロメトリクス推論の機械論的解釈について述べる。
論文 参考訳（メタデータ） (2024-08-16T07:47:39Z) - Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
言語モデル(LM)は、しばしば帰納的推論に不足する。
我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。
本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
論文 参考訳（メタデータ） (2023-10-12T17:51:10Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。