論文の概要: Exploring Depth Generalization in Large Language Models for Solving Recursive Logic Tasks

• arxiv url: http://arxiv.org/abs/2512.02677v1
• Date: Tue, 02 Dec 2025 12:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.852344
• Title: Exploring Depth Generalization in Large Language Models for Solving Recursive Logic Tasks
• Title（参考訳）: 帰納的論理問題を解くための大規模言語モデルにおける深さ一般化の探索
• Authors: Zhiyuan He,
• Abstract要約: トランスフォーマーアーキテクチャは、トレーニング中に遭遇するよりも深い再帰を伴う問題に苦しむことを示す。 この制限はスタックのような振舞いを維持することができないことに起因する。 我々は,問題を管理可能なサブコンポーネントに分解するループ式位置交換パイプラインを開発した。
• 参考スコア（独自算出の注目度）: 1.0378456753266476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have demonstrated remarkable capabilities across many tasks, yet face significant challenges when dealing with recursive reasoning problems, those requiring the resolution of nested hierarchical structures. While prior research has extensively studied length generalization (a model's ability to handle longer sequences than seen during training), we investigate a distinct and underexplored limitation: depth generalization. Here, depth refers to the number of nested levels in a hierarchical problem, such as the layers of parentheses in a mathematical expression or the nesting of logical clauses in a Boolean formula. Our work reveals that standard transformer architectures struggle with problems involving deeper recursion than encountered during training, even when they perform well on longer but non-nested sequences. This limitation stems from their inability to maintain stack-like behavior, the capacity to track and resolve multiple levels of nested dependencies. Through systematic analysis, we demonstrate how this architectural constraint leads to rapid performance decay as the depth of the recursion increases. To address this challenge, we develop a novel looped locate-and-replace pipeline that decomposes recursive problems into manageable subcomponents. The approach employs two specialized models: a locator that identifies solvable subexpressions and a replacer that evaluates these components while preserving the overall structure. We evaluated this method in three carefully designed domains: Boolean algebra, recursive arithmetic, and propositional logic, each with a controllable depth of recursion. We show that our method effectively alleviates the performance decay when tested on out-of-distribution recursion depth.
• Abstract（参考訳）: 大規模言語モデルは、多くのタスクにわたって顕著な能力を示してきたが、再帰的推論問題、ネストされた階層構造の解決を必要とする問題を扱う際には重大な課題に直面している。 従来の研究では、長さの一般化(トレーニング中に見られるよりも長いシーケンスを扱うモデルの能力)を広範囲に研究してきたが、未解明の限界である深さの一般化(deep generalization)について検討した。 ここで、深さとは、数学的表現における括弧の層やブール式における論理節の入れ子など、階層的な問題における入れ子レベルの数を指す。 我々の研究によると、標準的なトランスフォーマーアーキテクチャは、トレーニング中に遭遇するよりも深い再帰に関わる問題に苦しむ。 この制限は、スタックのような振る舞いを維持することができず、複数のレベルのネストされた依存関係を追跡して解決する能力に起因している。 系統的な解析を通じて、再帰の深さが増加するにつれて、この構造的制約が性能の急激な低下につながることを示す。 この課題に対処するために、再帰的な問題を管理可能なサブコンポーネントに分解するループ式位置置換パイプラインを開発した。 このアプローチでは、解決可能な部分表現を識別するロケータと、全体構造を維持しながらこれらのコンポーネントを評価する置換器の2つの特別なモデルが採用されている。 我々は,この手法をブール代数,再帰算術,命題論理の3つの慎重に設計した領域で評価し,それぞれが制御可能な再帰深度を持つことを示した。 本手法は, 分布外再帰深さ試験において, 性能劣化を効果的に軽減することを示す。

関連論文リスト

• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
  ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。 シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。 検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
  論文  参考訳（メタデータ） (2025-06-01T09:34:20Z)
• Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion [14.739369424331478]
  本稿では,プログラミング言語領域における構造的再帰という抽象概念を,シーケンスモデリング問題や学習モデルの振る舞いにうまく結合する汎用フレームワークを提案する。 フレームワークを強力な概念ツールとして、さまざまな設定の下で異なる問題を特定します。
  論文  参考訳（メタデータ） (2024-01-23T18:07:38Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis [8.080026425139708]
  階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:12:32Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。