論文の概要: The Limits of Speculation: Bounding Speculative Decoding in Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2609.22156v1
• Date: Wed, 26 Aug 2026 10:40:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.747729
• Title: The Limits of Speculation: Bounding Speculative Decoding in Mixture-of-Experts
• Title（参考訳）: 投機限界:混合実験における投機的復号化の境界
• Abstract要約: 提案手法は,参照シーケンスよりもオフラインのショート・パス(SSP)問題として,投機予算選択を定式化する。 Qwen3-CoderとEagle-3のペアリングに関するOracleの決定をデルタスペース(Delta Space)の領域で詳細に分析した結果、反対候補が厳密な線形境界を形成することが示された。 この結果は、複雑な大域的最適化が、予測される進行と限界コストのバランスをとる必要条件によって局所的に管理されていることを証明している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding in Mixture-of-Experts (MoE) models faces the problem of unstable verification cost caused by input-dependent expert loading. To study the physics of this process, we formulate speculation-budget selection as an offline Stochastic Shortest Path (SSP) problem over reference sequences and build a diagnostic Oracle that uses counterfactual simulation to account for MoE verification cost. A detailed analysis of the Oracle's decisions on the Qwen3-Coder and EAGLE-3 pairing, in the space of marginal deltas (Delta Space), shows that rejected candidates form a strict linear boundary. This result demonstrates that a complex global optimization is locally governed by a necessary condition balancing marginal cost against expected progress ($\frac{Δ\mathbb{E}[Cost]}{Δ\mathbb{E}[a]}$), providing a rigorous mathematical reference point for designing future adaptive online heuristics.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルにおける投機的復号化は、入力依存の専門家負荷による不安定な検証コストの問題に直面する。 このプロセスの物理を研究するために,提案手法をオフライン確率的最短経路 (SSP) 問題として定式化し,MoE検証コストを考慮した実測シミュレーションを用いた診断Oracleを構築した。 Qwen3-Coder と EAGLE-3 のペアリングに関する Oracle の決定に関する詳細な分析では、限界デルタ (Delta Space) の空間において、反対候補が厳密な線形境界を形成することを示している。 この結果は、複雑な大域的最適化は、将来適応的なオンラインヒューリスティックを設計するための厳密な数学的基準点を提供するために、期待される進歩に対して限界コストをバランスさせる必要条件("\frac{Δ\mathbb{E}[Cost]}{Δ\mathbb{E}[a]}$")によって局所的に管理されていることを示している。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Knowledge-Constrained Shape Optimization with a Mixture-of-Experts Neural Operator for High-Confidence Design [8.50661909309695]
  本稿では,知識に基づく制約とユーザ意図をDFFDに基づく変形演算子の定量的パラメータに変換する知識制約型形状最適化フレームワークを提案する。 また、異種空気力学データセット上でのドラッグ予測とトレンド整合性を改善するために、Mixture-of-Experts Neural Operator (MoE-NO) を開発した。
  論文  参考訳（メタデータ） (2026-07-07T01:29:09Z)
• Target-Aware Linear Regression Under Distribution Shift [2.705806052277982]
  トレーニングとデプロイメントの間の分散シフトは、現代のAIシステムにとって大きな課題である。 我々は、この問題を、ソースとターゲットをまたいで安定な条件平均$E[Ymid X]$で研究する。 両辺縁を併用したハイブリッド損失推定器を,ベンチマーク目標認識推定器として同定する。
  論文  参考訳（メタデータ） (2026-06-22T02:24:50Z)
• Model Compression with Exact Budget Constraints via Riemannian Manifolds [39.54576236079211]
  トータルコスト予算の下で各NグループにKオプションの1つを割り当てることは、効率的なAIにおいて繰り返し発生する問題である。 我々は、ソフトマックス緩和の下で、予算制約がロジット空間における滑らかなリーマン多様体を異常に単純な幾何学で定義することを示す新しいアプローチを示す。 これらの特性に基づいて、接射影、二分探索リトラクション、運動量輸送を標準とするリーマン制約最適化(RCO)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:30:23Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Non-Linear Model-Based Sequential Decision-Making in Agriculture [0.0]
  連続的な意思決定は持続可能な農業管理と精密農業の中心である。 本研究では,探索-探索ループに直接ドメイン固有応答曲線を埋め込むモデルベースバンディットアルゴリズムのファミリーを提案する。 我々のアプローチは、持続可能な、包括的で透明な意思決定を、農業、環境管理、および同盟するアプリケーションでサポートします。
  論文  参考訳（メタデータ） (2025-09-02T03:41:48Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning [77.34726150561087]
  AdaSO(Adaptive least absolute shrinkage and selection operator)に基づく線形決定規則(LDR)の新しい正規化手法を提案する。 実験により、MSLPを解くために古典的な非正規化LDRを使用する場合、過度に適合する脅威は無視できないことが示された。 LHDP問題に対しては、非正規化ベンチマークと比較して、提案したフレームワークの次の利点を強調した。
  論文  参考訳（メタデータ） (2021-10-07T02:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。