Fugu-MT 論文翻訳(概要): AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters

論文の概要: AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters

arxiv url: http://arxiv.org/abs/2607.19223v1
Date: Tue, 21 Jul 2026 15:52:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-22 19:05:05.481879
Title: AdaFlash: Adaptive Speculative Decoding via On-Policy Distilled Diffusion Drafters
Title（参考訳）: AdaFlash:On-Policy Distilled Diffusion Draftersによる適応的投機的デコーディング
Abstract要約: 投機的復号化は、大規模な言語モデル推論を加速する主要なパラダイムとなっている。 DFlashのような最近の作業は、拡散ドラフトラを活用することにより、ドラフトの効率をさらに高める。 AdaFlash フレームワークは,I とI,I,I,I,I,I,I,I,I,I,I,I,I,O,,O,,の2つのコンポーネントから構成される。
参考スコア（独自算出の注目度）: 67.51886052453452
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Speculative decoding, in which a lightweight draft model first generates a draft sequence that is then verified in parallel by the target model, has become a prevalent paradigm for accelerating large language model inference. Recent work such as DFlash further boosts drafting efficiency by leveraging diffusion drafters, whose parallel denoising mechanism enables draft generation in a single forward pass. In this work, we uncover a central pitfall of diffusion drafters: bidirectional attention is a double-edged sword. On one hand, it endows the model with parallel generation and global contextual modeling capabilities; on the other hand, this inherent global dependency introduces high variance at both the domain-level and the token-level: acceptance rates fluctuate substantially across different domains, and draft token quality also varies heterogeneously at different token positions. To tackle this issue, we propose AdaFlash framework, comprising two components: (i) an on-policy distillation (OPD) algorithm with reverse-KL divergence tailored for diffusion drafters, bringing stable convergence and effectively reducing domain-level variance; and (ii) an adaptive length head that dynamically adjusts the candidate sequence length on the fly, substantially lowering the verification cost of the target model and handling token-level variance. Experiments demonstrate that AdaFlash consistently improves speedup rate during deployment, with especially significant gains in high-concurrency scenarios, achieving up to approximately 66% higher throughput than previous state-of-the-art methods.
Abstract（参考訳）: 投機的復号化は、まず軽量なドラフトモデルが、ターゲットモデルによって並列に検証されたドラフトシーケンスを生成し、大規模言語モデル推論を加速するための主要なパラダイムとなっている。 DFlashのような最近の作業は、パラレルデノナイジング機構によって1つのフォワードパスでのドラフト生成を可能にする拡散プロダラを活用することにより、ドラフトの効率をさらに向上させる。本研究では,拡散起草者の中心的な落とし穴を明らかにする。双方向注意は両刃の剣である。一方、並列生成とグローバルなコンテキストモデリング機能を備えたモデルを提供する一方で、この固有のグローバル依存は、ドメインレベルとトークンレベルの両方で高いばらつきをもたらす。この問題に対処するため、我々は2つのコンポーネントからなるAdaFlashフレームワークを提案する。 (i)拡散ドラフト作成者に適した逆KL分散型オンライン蒸留(OPD)アルゴリズムにより、安定した収束とドメインレベルの分散を効果的に低減する。二目標モデルの検証コストを大幅に低減し、トークンレベルのばらつきを処理し、ハエの候補シーケンス長を動的に調整する適応長ヘッド。実験によると、AdaFlashはデプロイメント中のスピードアップ率を継続的に改善し、特に高コンカレンシーなシナリオでは、従来の最先端メソッドよりも最大66%高いスループットを実現している。

関連論文リスト

WAM-Diff2: Hierarchical AR-to-Diffusion Distillation for Highly Efficient Autonomous Driving VLA [27.102605117827398]
VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転の顕著なパラダイムとして登場した。それらは、シーケンシャルな自己回帰的復号から生じる高い計算遅延と露出バイアスによって制約される。 WAM-Diff2は3段階階層戦略を利用したマルチタスク離散拡散VLAフレームワークである。
論文参考訳（メタデータ） (2026-08-02T06:45:16Z)
WhiFlash: Accelerating Speculative Decoding with Token-Level Cross-Paradigm Routing [44.656073829954636]
WhiFlashは、単一トークンレベルのコントローラの下で自動回帰および拡散ベースの並列ドラフトを統一する、クロスパラダイムなSDメソッドである。また,WhiFlashは高い受信長を実現し,カテゴリ固有のスループットを最大69.6%向上させることを示した。
論文参考訳（メタデータ） (2026-06-05T13:23:33Z)
Diffusion-CAM: Faithful Visual Explanations for dMLLMs [8.78213424930081]
Diffusion-CAMは、dMLLMに特化された最初の解釈可能性法である。バックボーンの中間表現を微分して生の活性化マップを導出する。実験の結果,Diffusion-CAMは局所化精度と視覚的忠実度の両方でSoTA法よりも優れていた。
論文参考訳（メタデータ） (2026-04-13T05:14:18Z)
OmniVL-Guard: Towards Unified Vision-Language Forgery Detection and Grounding via Balanced RL [63.388513841293616]
既存の偽造検出手法は、現実世界の誤報に多いインターリーブされたテキスト、画像、ビデオを扱うのに失敗する。このギャップを埋めるため,本論文では,オムニバス・ビジョン言語による偽造検出と接地のための統一フレームワークの開発を目標としている。我々は、OmniVL-Guardという、オムニバス視覚言語による偽造検出と接地のためのバランスの取れた強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-02-11T09:41:36Z)
Beyond Confidence: Adaptive and Coherent Decoding for Diffusion Language Models [64.92045568376705]
コヒーレントコンテキストデコーディング(Coherent Contextual Decoding, CCD)は、2つのコアイノベーションに基づいて構築された新しい推論フレームワークである。 CCDは、歴史的文脈を活用してシーケンスコヒーレンスを高める軌道修正機構を採用している。拡散ステップに基づく厳密なアロケーションの代わりに,各ステップのアンマスク予算を動的に調整する適応型サンプリング戦略を導入する。
論文参考訳（メタデータ） (2025-11-26T09:49:48Z)
Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
論文参考訳（メタデータ） (2025-10-31T16:32:12Z)
Next Interest Flow: A Generative Pre-training Paradigm for Recommender Systems by Modeling All-domain Movelines [8.895768051554162]
本稿では,eコマースレコメンデータシステムのための新しい生成事前学習パラダイムを提案する。我々のモデルは,ユーザの将来の意図を表す密度の高いベクトル列であるNext Interest Flowを予測することを学ぶ。パイプライン全体を実装した統合フレームワークである All-domain Moveline Evolution Network (AMEN) を提示する。
論文参考訳（メタデータ） (2025-10-13T12:13:17Z)
SPREAD: Sampling-based Pareto front Refinement via Efficient Adaptive Diffusion [0.8594140167290097]
SPREADは拡散確率モデル(DDPM)に基づく生成フレームワークである決定空間からサンプリングされた点上の条件拡散過程を学習する。適応的多重勾配降下インスパイアされた更新を高速収束に利用するサンプリングスキームにより、候補を洗練する。
論文参考訳（メタデータ） (2025-09-25T12:09:37Z)
Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。大規模な実験ではPPADの大幅な改善が示されている。
論文参考訳（メタデータ） (2025-05-26T14:42:35Z)
One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。提案手法は,実測値と非参照値の両方で高い性能を達成する。
論文参考訳（メタデータ） (2025-03-09T09:39:57Z)
Speculative Diffusion Decoding: Accelerating Language Generation through Diffusion [55.0194604505437]
投機的復号化は,大規模言語モデル推論を高速化する手法として広く採用されている。本稿では,離散拡散モデルを用いてドラフトシーケンスを生成する投機的復号法を提案する。
論文参考訳（メタデータ） (2024-08-10T21:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。