論文の概要: RheoSampling: Resolving the One-Hot Dilemma in Stochastic Dynamic-Tree Speculative Decoding

• arxiv url: http://arxiv.org/abs/2609.21827v1
• Date: Fri, 18 Sep 2026 14:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.147984
• Title: RheoSampling: Resolving the One-Hot Dilemma in Stochastic Dynamic-Tree Speculative Decoding
• Title（参考訳）: RheoSampling: 確率的動的トレー投機復号における1ホットジレンマの解消
• Abstract要約: 我々は,無損失性を維持しつつ,文脈認識型トップK構築とサンプリングを併用した新しい動的ツリー手法を提案する。 OTベースの検証戦略とスパースドラフト機構により、ゲインが実用的な効率に変換されることが保証される。 このフレームワークは、ツリー構造を分析するテンプレートを提供するかもしれない。
• 参考スコア（独自算出の注目度）: 4.611034553649923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates LLM inference by drafting multiple tokens in parallel, with tree-based methods further improving efficiency through hierarchical structures. Dynamic-tree methods such as EAGLE-3 perform well under greedy decoding via deterministic top-K expansion and global pruning. However, in stochastic decoding (T>0), this mechanism collapses the draft distribution into one-hot probabilities, causing a severe drop in acceptance rate. This creates a dilemma: dynamic-tree methods sacrifice stochastic sampling to preserve context-aware topology, while static-tree methods preserve stochastic sampling with context-agnostic structures. The issue arises because the same probability distribution is used for two conflicting tasks: constructing the tree and verifying tokens. This coupling makes direct injection of randomness challenging due to the resulting stochastic process. We resolve this by decoupling these roles: RheoSampling assigns a token sampled from the draft distribution a proxy probability for tree expansion and pruning alongside its true sampling probability for verification. Specifically, we inject a sampled token among the deterministic top-K slots and treat it with different probabilities during construction and verification, making RheoSampling the first dynamic-tree method with both context-aware top-K construction and stochastic sampling while maintaining losslessness. We establish the lossless guarantee through an equivalence-class analysis that compresses the stochastic tree space into tractable classes. An OT-based verification strategy and a sparse draft mechanism ensure that theoretical gains translate into practical efficiency. Experiments across LLMs and benchmarks demonstrate improvements in acceptance rate and speedup over state-of-the-art dynamic tree methods. This framework may provide a template for analyzing stochastic tree structures.
• Abstract（参考訳）: 投機的復号化は複数のトークンを並列に起草することでLCM推論を加速し、ツリーベースの手法は階層構造による効率をさらに向上させる。 EAGLE-3のような動的ツリー法は、決定論的トップK展開とグローバルプルーニングによって、グリージーデコーディングの下でうまく機能する。 しかし、確率的復号法(T>0)では、この機構はドラフト分布を1ホット確率に崩壊させ、受け入れ率を著しく低下させる。 動的ツリーメソッドはコンテキスト認識トポロジを保存するために確率的サンプリングを犠牲にし、静的ツリーメソッドはコンテキストに依存しない構造を持つ確率的サンプリングを保存する。 問題は、同じ確率分布が、ツリーの構築とトークンの検証という2つの矛盾するタスクに使用されるためである。 この結合は、結果として生じる確率過程のためにランダム性の直接注入を困難にする。 RheoSamplingは、ドラフト分布からサンプリングされたトークンを、木の拡大とプルーニングのプロキシ確率、検証の真のサンプリング確率と共に割り当てます。 具体的には、決定論的トップKスロット内にサンプルトークンを注入し、構築と検証の間に異なる確率で処理し、RheoSamplingは、無害性を維持しつつ、コンテキスト認識トップK構築と確率的サンプリングの両方で最初の動的ツリー法となる。 確率木空間を抽出可能なクラスに圧縮する同値クラス解析により、損失のない保証を確立する。 OTベースの検証戦略とスパースドラフト機構により、理論的ゲインが実用的な効率に変換されることが保証される。 LLMとベンチマークによる実験では、最先端の動的木法よりも受け入れ率と高速化が向上した。 このフレームワークは確率木構造を解析するためのテンプレートを提供するかもしれない。

関連論文リスト

• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models [13.433506313486701]
  ツリー検索は、生成モデルとタスク固有の報酬をテスト時に整合させる強力なフレームワークとして登場した。 これらの問題に対処する木探索テスト時間アライメント手法であるTReASUReを提案する。 TReASUReは、パープレキシティ、言語受容性、感情と毒性の制御に関する最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-09-27T06:22:45Z)
• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• ProtInvTree: Deliberate Protein Inverse Folding with Reward-guided Tree Search [77.55575655986252]
  ProtInvTreeはタンパク質逆フォールディングのための報酬誘導ツリー検索フレームワークである。 シークエンス生成は、意図的に、ステップワイズな意思決定プロセスとして再構成される。 検索深度と幅を広げて、再トレーニングすることなく、フレキシブルなテストタイムスケーリングをサポートする。
  論文  参考訳（メタデータ） (2025-06-01T09:34:20Z)
• C2T: A Classifier-Based Tree Construction Method in Speculative Decoding [9.663330370149428]
  投機的復号法は、しばしばトークンツリーの構築や候補トークンの検証において非効率に直面する。 トークンツリーを動的に生成・生成するための軽量な分類器C2Tを提案する。
  論文  参考訳（メタデータ） (2025-02-19T11:57:02Z)
• TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression [0.0]
  ツリーアンサンブルを使うことの利点と柔軟な確率分布をモデル化する能力を組み合わせたツリーベースアプローチであるTreeFlowを紹介した。 提案手法は, 諸量, 特徴量, 目標寸法の異なる回帰ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2022-06-08T20:06:23Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。