論文の概要: HyperThink: Text-to-Parameter Hypernetworks for Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2610.03039v1
• Date: Fri, 02 Oct 2026 09:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.298587
• Title: HyperThink: Text-to-Parameter Hypernetworks for Efficient Reasoning
• Title（参考訳）: HyperThink: 効率的な推論のためのテキストからパラメータへのハイパーネット
• Abstract要約: ロングフォーム思考トレースは、大規模言語モデルの多段階推論性能を大幅に向上させることができる。 しかし、遅延はシーケンシャルな復号化によって支配されるため、高い推論時間オーバーヘッドがもたらされる。 本稿では,この推論計算を単一クエリ条件パラメータ更新に補正するHyperThinkを提案する。
• 参考スコア（独自算出の注目度）: 28.89203539104415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-form thinking traces can substantially improve the multi-step reasoning performance of large language models (LLMs), but they introduce high inference-time overhead, with latency dominated by sequential decoding. We propose HyperThink, a text-to-parameter approach that amortizes this reasoning computation into a single query-conditioned parameter update: a lightweight hypernetwork reads the question and predicts updates to a small subset of the base LLM's parameters, while a vector-quantized decoder constrains them to a finite set of reusable patterns to improve robustness and transfer. Trained end-to-end on outputs from the base model itself, HyperThink eliminates long thinking traces at test time: after one hypernetwork forward pass, the adapted model generates a concise step-by-step solution and final answer without an intermediate trace, using far fewer tokens while retaining strong reasoning performance. Empirically, HyperThink improves the low-latency region of the accuracy-latency trade-off on mathematical and general reasoning tasks, with its strongest gains in the near-non-thinking regime.
• Abstract（参考訳）: ロングフォームな思考トレースは、大規模言語モデル(LLM)のマルチステップ推論性能を大幅に向上させるが、遅延はシーケンシャルな復号化に支配される。 我々は,この推論計算を単一クエリ条件のパラメータ更新に補正するテキスト・ツー・パラメータ・アプローチであるHyperThinkを提案する。軽量なハイパーネットワークは質問を読み,ベースLSMのパラメータの小さなサブセットへの更新を予測し,ベクトル量子化デコーダはそれらを再利用可能なパターンの有限セットに制限し,堅牢性と転送を改善する。 HyperThinkは、ベースモデル自体から出力されたエンドツーエンドでトレーニングされ、テスト時に長い思考トレースを排除します。1つのハイパーネットワークが前進した後、適応されたモデルは、中間トレースなしで簡潔なステップバイステップのソリューションと最終回答を生成し、強力な推論性能を維持しながら、はるかに少ないトークンを使用します。 経験的に、HyperThinkは数学的および一般的な推論タスクにおける精度-遅延トレードオフの低レイテンシ領域を改善し、ほぼ考えない体制で最大の利益を上げている。

関連論文リスト

• PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations [52.67948063133533]
  生成レコメンデーションは有望なパラダイムとして現れ、階層的なセマンティックIDよりもシーケンス・ツー・シーケンス生成タスクとしてレコメンデーションを改革している。 既存の手法は、セマンティックドリフト(Semantic Drift)と呼ばれる重要な問題に悩まされ、初期、高レベルのトークンのエラーは、生成軌道を無関係な意味部分空間に不可逆的に分散させる。 本稿では,高密度なステップバイステップ検証を生成モデルに統合する新しいフレームワークPromiseを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:38:46Z)
• Arbitrage: Efficient Reasoning via Advantage-Aware Speculation [71.45710345765528]
  投機的復号化は、高速だが不正確なドラフトモデルを用いて推論を加速し、自動回帰的にトークンを提案する。 しかし、意味論的に等価なステップにおけるトークンミスマッチによる不要な拒絶のため、従来のトークンレベルの投機的デコーディングは、タスクの推論に苦労する。 提案するArbitrageは,ドラフトモデルとターゲットモデルとの相対的優位性に基づいて動的に生成をルーティングする,新しいステップレベルの投機生成フレームワークである。
  論文  参考訳（メタデータ） (2025-12-04T17:50:53Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Path-Consistency with Prefix Enhancement for Efficient Inference in LLMs [3.6696973040141034]
  path-consistencyは推論遅延を最大40.5%改善し、タスク間のタスク精度を維持している。 実験の結果,経路整合性は,タスク間のタスク精度を維持しつつ,最大40.5%の推論遅延を改善することが示された。
  論文  参考訳（メタデータ） (2024-08-25T01:45:53Z)
• HyperTime: Hyperparameter Optimization for Combating Temporal Distribution Shifts [26.205660967039087]
  我々は、時系列検証セットに対する平均検証損失と最悪の検証損失に対して、レキソグラフィー優先順序を用いる。 本稿では,時間分布シフトを伴う複数の機械学習タスクにおいて,提案手法の強い経験的性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T19:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。