論文の概要: DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning

• arxiv url: http://arxiv.org/abs/2607.00341v1
• Date: Wed, 01 Jul 2026 02:32:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.684027
• Title: DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
• Title（参考訳）: DiscoLoop: ループ型離散埋め込みとマルチホップ推論のための連続隠れ状態
• Abstract要約: 大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
• 参考スコア（独自算出の注目度）: 91.94042219655866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models achieve strong performance on many reasoning tasks when allowed to externalize intermediate steps as Chain-of-Thought (CoT). However, many questions require the model to internalize the multi-step reasoning within a single forward pass before generating the answer. We study this challenge through two-hop reasoning, a representative task where the model must compose multiple pieces of parametric knowledge within a single forward pass. Standard non-recurrent Transformers suffer from a depth-local storage problem: facts learned in earlier layers are unavailable where second-hop retrieval happens. We found that Looped Transformers mitigate this issue by reusing the same memory, but still generalize imperfectly. We show that the remaining bottleneck is representational. In the two-hop reasoning task, the first loop often makes the correct bridge entity nearly perfectly decodable, yet the corresponding hidden state remains poorly aligned with the bridge token embedding. Surprisingly, an easy training-free realignment intervention nearly closes the generalization gap. Building upon this insight, we propose DiscoLoop, a looping architecture whose recurrence carries both a discrete embedding channel and a continuous hidden-state channel. DiscoLoop achieves near-perfect accuracy with substantially fewer training steps across symbolic and synthetic-language multi-hop reasoning tasks. When applied to real-world pretraining, DiscoLoop attains lower training loss and stronger benchmark performance than looped-transformer baselines, suggesting that the mixed-channel design transfers to practical language modeling.
• Abstract（参考訳）: 大規模言語モデルは、Chain-of-Thought (CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する。 しかし、多くの疑問は、答えを生成する前に、1つの前方パス内で多段階の推論を内部化することを要求する。 本研究では,この課題を,モデルが複数のパラメトリック知識を1つの前方パス内で構成しなければならない2-ホップ推論を通じて研究する。 通常の非リカレントトランスフォーマーは、深度ローカルなストレージの問題に悩まされる。 Looped Transformerは、同じメモリを再利用することでこの問題を緩和するが、それでも不完全な一般化を実現している。 残りのボトルネックは表現的であることを示します。 2つのホップ推論タスクでは、最初のループはしばしば正しいブリッジエンティティをほぼ完全にデオード可能であるが、対応する隠れ状態はブリッジトークンの埋め込みと整合性に乏しいままである。 意外なことに、訓練なしの直観的介入は、一般化のギャップをほぼ埋める。 この知見に基づいて、離散的な埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。 DiscoLoopは、シンボリックおよび合成言語によるマルチホップ推論タスクのトレーニングステップを大幅に減らして、ほぼ完璧な精度を達成する。 実世界の事前トレーニングに適用すると、DiscoLoopはループ変換器ベースラインよりもトレーニング損失が低く、ベンチマーク性能が向上し、混合チャネル設計が実用的な言語モデリングに移行する可能性が示唆された。

関連論文リスト

• Why Knowing Both Hops Is Not Enough: Understanding Two-Hop Generalization in Language Models [34.21928044036961]
  大規模言語モデル(LLM)は複雑なマルチホップ問題を解くことができるが、単純な2ホップクエリではファズリングの失敗を示す。 LLMは、第2ホップがトレーニング分布に従えば確実に一般化するが、逸脱した場合は常に失敗することを示す。 本稿では,入力形式間での推論回路の再利用を可能にするリカレントスタイルのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2026-08-07T14:17:34Z)
• Retrieval is Cheap, Show Me the Code: Executable Multi-Hop Reasoning for Retrieval-Augmented Generation [26.17880287280065]
  pyragは、プログラムの合成と実行としてマルチホップRAGを再構成するフレームワークである。 pyragはトレーニング不要設定とRLトレーニング設定の両方で、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-13T04:14:13Z)
• Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [1.5736899098702974]
  本稿では,パラメータ数から計算深度を分離するDepth-recurrent Transformerを提案する。 アーキテクチャには3つのメカニズムが組み込まれています(20以上のステップ)。 我々は,タスクの複雑さに対処して,思考ステップがスケールするにつれて,パフォーマンスが機会からほぼ完璧に遷移する,明確な計算フロンティアを観察する。
  論文  参考訳（メタデータ） (2026-03-23T08:06:45Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Reasoning with Latent Thoughts: On the Power of Looped Transformers [52.84192961524481]
  多くの合成推論問題に対して、$k$層変換器が$L$倍ループしたことが、$kL$層非ループモデルの性能にほぼ一致することを示す。 ループ型および非ループ型モデルは、その有効深さに依存するスケーリングの挙動を示す。
  論文  参考訳（メタデータ） (2025-02-24T18:49:05Z)
• How Do LLMs Perform Two-Hop Reasoning in Context? [76.79936191530784]
  2-ホップ推論(英: two-hop reasoning)とは、2つの論理的なステップで結論を導く過程を指す。 近年の大規模言語モデル(LLM)の進歩にもかかわらず、単純な2つのホップ推論の問題を解くのに失敗することは驚くほどある。 我々は、合成二脚推論タスクでスクラッチから3層トランスフォーマーを訓練し、内部情報の流れをリバースエンジニアリングする。
  論文  参考訳（メタデータ） (2025-02-19T17:46:30Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。