論文の概要: Revealing Algorithmic Deductive Circuits for Logical Reasoning
- arxiv url: http://arxiv.org/abs/2605.27824v1
- Date: Wed, 27 May 2026 01:30:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.671771
- Title: Revealing Algorithmic Deductive Circuits for Logical Reasoning
- Title（参考訳）: 論理推論のためのアルゴリズムデダクティブ回路の試作
- Authors: Phuong Minh Nguyen, Tien Huu Dang, Naoya Inoue,
- Abstract要約: 大言語モデル(LLM)は機能的関数的記号表現を組み込むことで、強力な推論性能を達成することができる。
本研究の目的は,個々の推論ステップに責任を負うアテンションヘッドをローカライズし,それら間で伝達される情報の種類を特徴付けることである。
- 参考スコア（独自算出の注目度）: 4.839520296557773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have shown that Large Language Models (LLMs) can achieve strong reasoning performance by incorporating functional symbolic representations that abstractly describe graph traversal algorithms and step-by-step reasoning in few-shot learning settings. However, it remains unclear how LLMs genuinely understand the abstract meaning of each reasoning step and the overall algorithm from only a limited number of demonstrations. This work aims to localize the attention heads responsible for individual reasoning steps and characterize the types of information transferred among them. We first align constituent reasoning steps with their corresponding token logits under a symbolic-aided Chain-of-Thought (CoT) prompting framework. Our analysis shows that token positions that steer the reasoning process are associated with low confidence scores caused by constraints on satisfying reasoning behavior patterns in demonstrations. We then adopt causal mediation analysis techniques to identify the attention heads responsible for these patterns. In addition, our findings indicate that LLMs retrieve factual and rule-based information for individual sub-reasoning tasks through specialized attention heads (approximately 3% total heads), whereas higher layers predominantly facilitate information integration and the emergence of global reasoning strategies (e.g., graph traversal algorithms) that coordinate multiple intermediate reasoning steps to solve the overall task.
- Abstract（参考訳）: 近年,Large Language Models (LLMs) は,グラフトラバーサルアルゴリズムを抽象的に記述した関数的記号表現と,数ショットの学習環境におけるステップバイステップ推論を組み込むことで,強力な推論性能を実現することが示されている。
しかし、LLMがそれぞれの推論ステップの抽象的意味とアルゴリズム全体をどのように理解しているかは、限られた数のデモからのみ明らかである。
本研究の目的は,個々の推論ステップに責任を負うアテンションヘッドをローカライズし,それら間で伝達される情報の種類を特徴付けることである。
まず,シンボル支援型Chain-of-Thought(CoT)プロンプトフレームワークの下で,構成的推論ステップを対応するトークンロジットと整合させる。
分析の結果, 推理過程を操るトークンの位置は, 実演における推論行動パターンを満足させる制約による信頼度が低いことが示唆された。
次に、これらのパターンに責任のある注意点を特定するために、因果媒介分析手法を採用する。
さらに,LLMは,個々のサブ推論タスクに対して,個別のアテンションヘッド(約3%のアテンションヘッド)を通じて実情報とルールベースの情報を検索するのに対し,上位層は情報統合とグローバル推論戦略(グラフトラバーサルアルゴリズム)の出現を主体的に促進し,複数の中間推論ステップを調整して全体課題を解決できることが示唆された。
関連論文リスト
- PRISM: A Dual View of LLM Reasoning through Semantic Flow and Latent Computation [15.91920027845529]
PRISM(Probabilistic Reasoning Inspection through Semantic and Implicit Modeling)は、両方のレベルを共同で分析するためのフレームワークおよび診断ツールである。
これは、推論過程における系統的なパターンを明らかにし、失敗した軌道は非生産的な検証ループに閉じ込められる傾向にあることを示した。
PRISMは、最終タスクの精度にのみ依存するのではなく、これらの振る舞いを観測し分析可能にする。
論文 参考訳（メタデータ） (2026-03-24T03:31:53Z) - Towards a Mechanistic Understanding of Propositional Logical Reasoning in Large Language Models [31.709549159768727]
PropLogic-MI上のQwen3 (8Bと14B)の解析 - 1ホップと2ホップの推論にまたがる11の命題論理ルールカテゴリにまたがるデータセット。
解析により、4つのインターロック機構からなるコヒーレントな計算構造が明らかになった。
これらのメカニズムは、モデルスケール、ルールタイプ、推論深さをまたいで一般化され、LLMが論理的推論のために構造化された計算戦略を採用するという機械的証拠を提供する。
論文 参考訳（メタデータ） (2026-01-07T04:20:30Z) - Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。
この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。
クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
論文 参考訳（メタデータ） (2025-10-15T13:49:51Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳（メタデータ） (2025-05-29T17:55:49Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Mapping the Minds of LLMs: A Graph-Based Analysis of Reasoning LLM [11.181783720439563]
大規模言語モデル(LLM)は、拡張されたChain-of-Thought(CoT)生成を通じて洗練された推論能力を示す。
RLMは、数発のプロンプトによる性能劣化など、直感的で不安定な動作を示すことが多い。
RLMの推論過程をより良くモデル化するための統一的なグラフベース分析フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-20T03:54:57Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - Learning Differentiable Logic Programs for Abstract Visual Reasoning [22.167393386879294]
微分フォワード推論は、勾配に基づく機械学習パラダイムと推論を統合するために開発された。
NEUMANNはグラフベースの微分可能フォワード推論器で、メッセージをメモリ効率のよい方法で送信し、構造化プログラムを関手で処理する。
NEUMANNは視覚的推論タスクを効率的に解き、神経、象徴的、神経-象徴的ベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-03T11:02:40Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。