論文の概要: HyperGuide: Hyperbolic Guidance for Efficient Multi-Step Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.24140v2
• Date: Wed, 27 May 2026 23:12:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:54.551529
• Title: HyperGuide: Hyperbolic Guidance for Efficient Multi-Step Reasoning in Large Language Models
• Title（参考訳）: HyperGuide: 大規模言語モデルにおける効率的なマルチステップ推論のためのハイパボリックガイダンス
• Authors: Yuyu Liu, Haotian Xu, Yanan He, Sarang Rajendra Patil, Mengjia Xu, Tengfei Ma,
• Abstract要約: マルチステップ推論は、大きな言語モデルにとって重要な課題である。 我々はこのギャップを、段階的に生成する双曲信号に推論の進行を蒸留することで解決する。 我々のアプローチは構造的な観察によって動機付けられており、幾何学的推論木では、解を持つ状態はほとんどなく、デッドエンドは指数関数的に数が多い。
• 参考スコア（独自算出の注目度）: 7.118013515688022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-step reasoning remains a central challenge for large language models: single-pass generation is efficient but lacks accuracy; tree-search methods explore multiple paths but are computation-heavy. We address this gap by distilling reasoning progress into a hyperbolic geometric signal that guides step-by-step generation. Our approach is motivated by a structural observation: in combinatorial reasoning trees, solution-bearing states are few while dead ends are exponentially numerous. The hyperbolic space matches this asymmetry, with compact volume near the origin and exponentially expanding capacity toward the boundary, so that distance-to-origin naturally encodes solution proximity while angular separation distinguishes branches requiring different next operations. We train a lightweight head to project LLM hidden states into this space, then fine-tune a low-rank adapter interactively on its own reasoning attempts to act on the injected signal. Across multiple benchmarks, the geometric signal yields consistent gains, with larger improvements on deeper reasoning chains. Our code is publicly available at https://github.com/yuyuliu11037/HyperGuide.
• Abstract（参考訳）: シングルパス生成は効率的だが精度に欠ける; 木探索法は複数の経路を探索するが計算量が多い。 我々はこのギャップを、段階的に生成する双曲幾何学的信号に推論の進行を蒸留することによって解決する。 我々のアプローチは構造的な観察によって動機付けられており、組合せ的推論木では、解を持つ状態はほとんどなく、デッドエンドは指数関数的に数が多い。 双曲空間はこの非対称性と一致し、原点付近にコンパクトな体積を持ち、境界に向かって指数関数的に容量を拡大することにより、角分離が次の異なる演算を必要とする枝を区別しながら、解近接を自然に符号化する。 我々は軽量なヘッドを訓練し、LSMの隠された状態をこの空間に投影し、低ランクのアダプタをインジェクションされた信号に作用させようとする独自の理由に基づいて対話的に微調整する。 幾何信号は複数のベンチマークで一貫した利得を得るが、より深い推論連鎖は改善される。 私たちのコードはhttps://github.com/yuyuliu11037/HyperGuide.comで公開されています。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Neural Chain-of-Thought Search: Searching the Optimal Reasoning Path to Enhance Large Language Models [61.55758048622473]
  最適思考戦略の動的探索として推論を再構成するフレームワークであるNeural Chain-of-Thought Search (NCoTS)を導入する。 解空間を定量的に特徴づけることで、標準出力よりも正確かつ簡潔なスパース優良推論経路の存在を明らかにする。
  論文  参考訳（メタデータ） (2026-01-16T14:38:18Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• PathFinder: Guided Search over Multi-Step Reasoning Paths [80.56102301441899]
  木探索に基づく推論経路生成手法であるPathFinderを提案する。 動的デコードの統合により、多様な分岐とマルチホップ推論を強化する。 我々のモデルは、大きな分岐因子を持つビームサーチに類似した複雑さを反映して、よく、長く、目に見えない推論連鎖を一般化する。
  論文  参考訳（メタデータ） (2023-12-08T17:05:47Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。