論文の概要: Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.03542v1
• Date: Wed, 07 Jan 2026 03:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.122216
• Title: Layer-Order Inversion: Rethinking Latent Multi-Hop Reasoning in Large Language Models
• Title（参考訳）: 階層次反転:大規模言語モデルにおける遅延マルチホップ推論の再考
• Authors: Xukai Liu, Ye Liu, Jipeng Zhang, Yanghai Zhang, Kai Zhang, Qi Liu,
• Abstract要約: ブリッジエンティティは、後続のホップ応答の前に層間で逐次計算されることを示す。 本稿では,浅い層における広帯域リコールとしてマルチホップ推論をモデル化し,深い注意層における選択的抽出を行うフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 26.603700269575025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) perform well on multi-hop reasoning, yet how they internally compose multiple facts remains unclear. Recent work proposes \emph{hop-aligned circuit hypothesis}, suggesting that bridge entities are computed sequentially across layers before later-hop answers. Through systematic analyses on real-world multi-hop queries, we show that this hop-aligned assumption does not generalize: later-hop answer entities can become decodable earlier than bridge entities, a phenomenon we call \emph{layer-order inversion}, which strengthens with total hops. To explain this behavior, we propose a \emph{probabilistic recall-and-extract} framework that models multi-hop reasoning as broad probabilistic recall in shallow MLP layers followed by selective extraction in deeper attention layers. This framework is empirically validated through systematic probing analyses, reinterpreting prior layer-wise decoding evidence, explaining chain-of-thought gains, and providing a mechanistic diagnosis of multi-hop failures despite correct single-hop knowledge. Code is available at https://github.com/laquabe/Layer-Order-Inversion.
• Abstract（参考訳）: 大規模言語モデル (LLM) はマルチホップ推論において良好に機能するが、内部でどのように複数の事実を構成するかは定かではない。 最近の研究は「emph{hop-aligned circuit hypothesis」を提唱し、ブリッジ実体が後続のホップ応答の前に層間で逐次計算されることを示唆している。 実世界のマルチホップクエリの体系的な解析を通して、このホップ整列仮定は一般化しないことを示す: 後続ホップ応答エンティティはブリッジエンティティよりも早くデオード可能になり、これは全ホップで強化される現象である。 この振る舞いを説明するために,浅層MLP層における広い確率的リコールとしてマルチホップ推論をモデル化した「emph{probabilistic recall-and-extract}」フレームワークを提案し,さらにより深い注意層における選択的抽出を行った。 この枠組みは、体系的な探索分析、事前の階層的復号化証拠の再解釈、チェーン・オブ・シントゲインの説明、そして正しいシングルホップ知識にもかかわらず、マルチホップ障害の機械的診断によって実証的に検証される。 コードはhttps://github.com/laquabe/Layer-Order-Inversion.comで入手できる。

関連論文リスト

• Think Parallax: Solving Multi-Hop Problems via Multi-View Knowledge-Graph-Based Retrieval-Augmented Generation [2.8890464940342873]
  大きな言語モデル(LLM)は言語理解に優れるが、幻覚とマルチホップ推論との闘いがしばしばある。 ParallaxRAGは,クエリとグラフトリプルを対称的に多重ビュー空間に分解するフレームワークである。 本結果は,知識に基づくマルチホップ推論の原則的方向性として,多視点頭部の特殊化に注目した。
  論文  参考訳（メタデータ） (2025-10-17T11:34:27Z)
• GRITHopper: Decomposition-Free Multi-Hop Dense Retrieval [52.47514434103737]
  GRITHopper-7Bは,最先端性能を実現する新しいマルチホップ高密度検索モデルである。 GRITHopperは、因果言語モデリングと密集した検索訓練を統合することで、生成的および表現的命令チューニングを組み合わせる。 検索後言語モデリングと呼ばれる検索プロセスの後に追加のコンテキストを組み込むことで,検索性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-03-10T16:42:48Z)
• Back Attention: Understanding and Enhancing Multi-Hop Reasoning in Large Language Models [51.53835083483751]
  我々は,「ヴォルフガング・アマデウス・モーツァルトの母の配偶者」のようなプロンプトにおいて,大規模言語モデルが潜在マルチホップ推論をどのように行うかを検討する。 故障は相関属性抽出の段階に起因することが多く、矛盾するロジットが予測精度を低下させる。 注意計算において,下位層が異なる位置から高層隠れ状態を利用することができる機構であるバックアテンションを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:36:42Z)
• Hopping Too Late: Exploring the Limitations of Large Language Models on Multi-Hop Queries [39.438904598467154]
  大規模言語モデル(LLM)が複雑な多段階問題をいかに解決するかを考察する。 潜在ステップが内部でどのように計算されるかを理解することは、全体的な計算を理解する上で鍵となる。 後層からの隠れ表現を以前の層にパッチバックする「バックパッチ」解析手法を提案する。
  論文  参考訳（メタデータ） (2024-06-18T16:44:13Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)
• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。