Fugu-MT 論文翻訳(概要): PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling

論文の概要: PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling

arxiv url: http://arxiv.org/abs/2610.13171v1
Date: Fri, 09 Oct 2026 07:58:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-13 04:06:29.462707
Title: PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
Title（参考訳）: PreSTO: 高速LCM電力サンプリングのための予測サブツリープリフェッチ
Abstract要約: パワーサンプリングは、ベースモデルの分布をシャープ化したバージョンからサンプリングすることで、テスト時の大言語モデル(LLM)推論を改善する。本稿では,予測サブトレープレフェッチ(PreSTO)を提案し,将来の提案をプリフェッチすることでPowerMHを高速化する。 PreSTOは、それぞれ1.71times$と1.91times$と2.33times$のPowerMHとそれに続くEntropyCutとMultiTryMHの平均的なスピードアップを達成している。
参考スコア（独自算出の注目度）: 9.488646461730456
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the base model's distribution. Its sampler, PowerMH, is slow because its Metropolis--Hastings (MH) updates are sequential: each accept/reject decision sets the state from which the next proposal is generated. Prior work reduces this cost by changing the sampler or the model (e.g., sequential Monte Carlo, approximate lookahead, distillation). We propose Predictive SubTree Prefetching (PreSTO), which accelerates PowerMH by prefetching future proposals and provably leaves its MH transition kernel unchanged. PreSTO views future MH outcomes as a tree of accept/reject decisions: in each model call, it generates the proposals of a \textit{prefetched subtree} of this tree in one batch, then follows the realized path with the original MH acceptance rule. We also observe that MH reaches only a sparse, nearly unary part of each prefetched subtree, we further design a \textit{predictive traversal rule} that chooses the subtree to maximize the predicted number of completed transitions. Across seven datasets and five base LLMs, PreSTO achieves median speedups of $1.71\times$, $1.91\times$, and $2.33\times$ on PowerMH and its follow-ups EntropyCut and MultiTryMH, respectively; on the first two, it makes a median of $3.9\times$ fewer model calls, each only $2.1\times$ longer. On LCB V6 with Qwen3.5-9B, the predictive traversal rule is a further $1.25\times$--$1.37\times$ faster than the default breadth-first traversal.
Abstract（参考訳）: パワーサンプリングは、ベースモデルの分布をシャープ化したバージョンからサンプリングすることで、テスト時の大言語モデル(LLM)推論を改善する。サンプルのPowerMHは、Metropolis--Hastings (MH) 更新がシーケンシャルであるため遅い。以前の作業では、サンプルまたはモデルを変更する(例えば、シーケンシャルなモンテカルロ、近似的なルックアヘッド、蒸留)ことで、このコストを削減した。予測サブトレープレフェッチ(PreSTO)を提案し、将来の提案をプリフェッチすることでPowerMHを高速化し、MH遷移カーネルを確実に変更する。各モデルコールでは、このツリーの \textit{prefetched subtree} の提案を1バッチで生成し、その後、元のMH受け入れルールで実現されたパスに従う。我々はまた、MHが各プレフェッチされたサブツリーのスパース部分のみに到達し、予測された完了トランジション数の最大化のためにサブツリーを選択する \textit{predictive traversal rule} を設計する。 7つのデータセットと5つのLLMで、PreSTOは1.71\times$, $1.91\times$, $2.33\times$ on PowerMHとそれに続くEntropyCutとMultiTryMHの平均的なスピードアップを達成している。 LCB V6とQwen3.5-9Bでは、予測トラバーサルルールは、デフォルトのブロードスファーストトラバーサルよりも1.25\times$--1.37\times$が高速である。

関連論文リスト

$σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$ [61.96648353048054]
ラプラス近似において信頼性の高い予測不確実性を選択する新しい方法を示す。我々は、前者のカーネルの収束、後続の共分散、選択精度、および後続の意思決定を示す。同じ後部安定性は、取得の転送、OOD検出、および棄権決定を可能にする。
論文参考訳（メタデータ） (2026-10-08T10:40:32Z)
Modular Norm RandOpt: Population-Efficient Ensembling through Architecture-Aware Perturbations [0.0]
RandOptは重み付き言語モデルをサンプリングし、複数の投票を通じて上位候補をアンサンブルする。モジュールワイズ自然ノルムと校正スケールを用いたアーキテクチャ対応サンプリング手法であるModular Norm RandOptを提案する。 RandOptはCountdownで$3times、GSM8Kで$12times($12times)で$2B($12times)で、ウォールタイムでは$3times($3/$)で上回る。
論文参考訳（メタデータ） (2026-09-22T06:31:00Z)
CAST: Canonical Approximate Schur Tree for Approximate Cholesky on Graphs [28.99342075394145]
CAST(Canonical Approximate Schur Tree)を導入する。すべての実現は接続され、正確にd-1エッジを含むが、選択された各エッジを木非包含確率の逆数で重み付けすることで更新は不偏となる。結果として得られた更新は未バイアスで接続され、正確に$O(d)$時間にサンプリングでき、正規化されたローカルSchurエラーの第2モーメントに1/$のバインドを満足する。
論文参考訳（メタデータ） (2026-09-08T15:12:01Z)
PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。 PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文参考訳（メタデータ） (2026-06-20T14:32:14Z)
Sample Where You Struggle: Sharpening Base Model Reasoning via Entropy-Guided Power Sampling [7.8682919561927065]
エントロピー誘導パワーサンプリング(Entropy-Guided Power Smpling、EGPS)は、トレーニングフリーで検証不要なサンプル装置である。 EGPSは決定論的ブロックをスキップし、各MCMCを高エントロピー地区にローカライズし、決定点に多重Tryメトロポリスを適用する。
論文参考訳（メタデータ） (2026-06-07T14:06:20Z)
Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文参考訳（メタデータ） (2026-06-01T04:43:36Z)
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning [11.356198488445488]
トレーニング不要なSequential Monte CarloスキームであるPower-SMCを導入する。 MATH500では、Power-SMCはMHの電力サンプリングと一致し、レイテンシを16$---28times$から1.4$---3.3times$に下げる。
論文参考訳（メタデータ） (2026-02-10T20:31:40Z)
CarBoN: Calibrated Best-of-N Sampling Improves Test-time Reasoning [62.56541355300587]
本稿では,高逆推論経路に向けてモデルを適応的に修正する一般的なテスト時間校正フレームワークを提案する。本フレームワークでは,まず解空間を探索し,次にロジットの校正を学習する二相法であるCarBoNを提案する。 MATH-500とAIME-2024の実験では、CarBoNは効率を向上し、同じ精度に達するために最大4倍のロールアウトが可能である。
論文参考訳（メタデータ） (2025-10-17T14:04:37Z)
DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。モデル応答の多様性を最大化するサンプルを選択することが重要となる。我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文参考訳（メタデータ） (2025-10-09T08:53:59Z)
HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
論文参考訳（メタデータ） (2024-02-14T18:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。