論文の概要: Rank-Aware Speculative Sampling for Diffusion Draft Trees
- arxiv url: http://arxiv.org/abs/2610.02251v1
- Date: Wed, 30 Sep 2026 18:59:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.015014
- Title: Rank-Aware Speculative Sampling for Diffusion Draft Trees
- Title（参考訳）: 拡散ドラフトツリーのランクアウェア投機サンプリング
- Abstract要約: 投機的サンプリングは、目標法則を保ちながら、安価なドラフト状態を並列に検証することで拡散の発生を加速する。
最近のツリーベースの手法では、単一チェーンのドラフトよりも並列計算予算を効果的に割り当てている。
ランクアウェアリスト結合に基づく投機的ドラフトツリーの検証ルールであるランクアウェア投機サンプリング(RASS)を導入する。
- 参考スコア（独自算出の注目度）: 38.431867096651025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speculative sampling accelerates diffusion generation by verifying inexpensive draft states in parallel while preserving the target law. Recent tree-based methods allocate the parallel compute budget more effectively than single-chain drafts, as demonstrated by Diffusion Greedy Rejection Sampling (D-GRS). D-GRS generates $K$ conditionally independent candidates per node, and sequentially tests them in their generation order. Yet the sampled candidates admit an informative ranking without additional target-model evaluations. To exploit this, we introduce Rank-Aware Speculative Sampling (RASS), a verification rule for speculative draft trees based on rank-aware list coupling. RASS orders draft candidates along the proposal-target mean displacement and samples a rank with weights optimized to minimize total variation between the selected-proposal and target laws. Finally, the selected candidate is maximally coupled with the target, with residual correction ensuring exact sampling for any choice of rank weights. We evaluate RASS on a Gaussian-mixture target, unconditional pixel-space generation on FFHQ, conditional generation on CIFAR-10, and latent diffusion with Stable Diffusion 3.5 using COCO2014 prompts. Measured by the ratio of standard to speculative sampling's target-model evaluation counts, RASS improves on D-GRS across the evaluated settings, with gains reaching approximately 20% on CIFAR-10 at matched compute budgets.
- Abstract（参考訳）: 投機的サンプリングは、目標法則を保ちながら、安価なドラフト状態を並列に検証することで拡散の発生を加速する。
最近のツリーベースの手法では、D-GRS(Diffusion Greedy Rejection Sampling)が示すように、単一チェーンのドラフトよりも並列計算予算を効果的に割り当てている。
D-GRSはノード毎の条件付き独立候補を$K$生成し、それらの生成順序で順次テストする。
しかし、サンプル候補は、追加のターゲットモデル評価なしで情報的ランキングを付与する。
これを活用するために、ランクアウェアリスト結合に基づく投機的ドラフトツリーの検証ルールであるランクアウェア投機サンプリング(RASS)を導入する。
RASSは提案対象平均変位に沿って候補者のドラフトを発注し、選択された目的法と対象法の間の総変動を最小限に抑えるために最適化された重み付きランクをサンプリングする。
最後に、選択された候補がターゲットと最大結合され、残差補正によりランクウェイトの選択に対して正確なサンプリングが保証される。
我々は,ガウス混合ターゲット上のRASS,FFHQ上の無条件画素空間生成,CIFAR-10上の条件生成,COCO2014プロンプトを用いた安定拡散3.5による潜時拡散の評価を行った。
基準値と投機的サンプリングの目標モデル評価値の比率で測定すると、RASSは評価設定全体にわたってD-GRSを改善し、一致した計算予算でCIFAR-10で約20%のゲインを得た。
関連論文リスト
- Leveraging Inference-Time Compute for Diffusion Models via Global Scheduling of Denoising Trajectories [16.711750527598827]
拡散モデルは、純雑音をターゲット分布からのドローに変換する一連のノイズ低減ステップであるデノイング軌跡をトラバースしてサンプルを生成する。
これによってリソース割り当ての疑問が持ち上がります – 探索の作業は、denoising trajectoryのステップにまたがってどのように分散されるべきなのでしょうか?
ステップサイズで先行する順に、ステップにおいて$K$の候補を評価することで期待される利益が、内因性、ステップ固有の感度パラメータに、普遍的なサンプルサイズファクターの倍に分解されることを示す。
実験により,提案したアロケーションは,機能評価を20～50%減らして,一様ベンチマークの品質を達成できることが示された。
論文 参考訳（メタデータ） (2026-09-19T08:10:33Z) - Accelerating Diffusion Sampling via Speculative Draft Trees [38.431867096651025]
投機的サンプリングは、安価な候補状態を作成し、ターゲット分布を正確に保存する結合の下で修正することで拡散モデル生成を加速する。
拡散モデルにおける投機的サンプリングと相対エントロピー符号化(REC)を結びつける。
多様なターゲットモデルとドラフトモデルによる実験では、実用的な設定でリフレクション結合ベースライン上で最大8.3%の加速が示される。
論文 参考訳（メタデータ） (2026-09-15T18:04:10Z) - ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping [79.1905186547363]
ResiSpecは、検証中に提案の配布を戦略的に改革するフレームワークである。
候補の偏光を防止し、最先端のマルチ候補法よりも最大1.92$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-25T11:25:55Z) - PRESTO: Prefix-Aligned Tree Drafting for Diffusion Speculative Decoding [98.71600061506206]
PRESTOは、木ベースのドラフトを拡散ドラフトラに拡張する、原則化されたフレームワークである。
PRESTOは、最先端の専用拡散プロダクタSD上で、平均1.5タイムのエンドツーエンドスループットのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-06-20T14:32:14Z) - Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。
本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。
刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
論文 参考訳（メタデータ） (2026-03-04T14:48:53Z) - Ada-RS: Adaptive Rejection Sampling for Selective Thinking [8.760287445955045]
大規模言語モデル(LLM)は、コストとレイテンシに敏感な設定でますますデプロイされている。
ツールを用いたLCMの選択的思考と適応型リジェクションサンプリング(Ada-RS)の導入について検討する。
Ada-RSは、適応的な長さの報酬で複数のサンプリング完了をスコアし、高い回帰候補のみを保持するために拒絶サンプリングを適用する。
論文 参考訳（メタデータ） (2026-02-23T05:20:15Z) - Low-Dimensional Adaptation of Rectified Flow: A New Perspective through the Lens of Diffusion and Stochastic Localization [59.04314685837778]
整流流(RF)は、その生成効率と最先端の性能からかなりの人気を得ている。
本稿では,RFがターゲット分布の支持の内在的低次元性に自動的に適応し,サンプリングを高速化する程度について検討する。
時間分割方式を慎重に設計し,十分な正確なドリフト推定を行うことで,RFサンプリング器はオーダーO(k/varepsilon)$の複雑さを享受できることを示す。
論文 参考訳（メタデータ） (2026-01-21T22:09:27Z) - Scaling Adversarial Training via Data Selection [0.0]
本稿では,各ミニバッチにおける臨界サンプルのサブセットのみを摂動するemphSelective Adversa Trainingを提案する。
MNIST と CIFAR-10 の実験により,提案手法は PGD の完全対向訓練に匹敵する,あるいはそれ以上の堅牢性を達成できることが示された。
論文 参考訳（メタデータ） (2025-12-26T15:50:33Z) - Diffusion Tree Sampling: Scalable inference-time alignment of diffusion models [13.312007032203857]
事前訓練された拡散モデルを推論時に新しい目的に適応させることは、生成的モデリングにおいて未解決の問題である。
そこで本研究では,終末報酬を拡散連鎖を通じて伝播させることにより,報奨目標密度から抽出するツリーベースアプローチを提案する。
以前の世代からの情報を再利用することで、任意のアルゴリズムが追加の計算を着実により良いサンプルに変換する。
論文 参考訳（メタデータ） (2025-06-25T17:59:10Z) - Sampling-Decomposable Generative Adversarial Recommender [84.05894139540048]
サンプル分解可能な生成逆数レコメンダ(SD-GAR)を提案する。
本フレームワークでは, 自己正規化重要度サンプリングにより, 生成元と最適値とのばらつきを補償する。
提案アルゴリズムを5つの実世界のレコメンデーションデータセットを用いて広範囲に評価する。
論文 参考訳（メタデータ） (2020-11-02T13:19:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。