論文の概要: AS$^2$D: Accelerating On-Demand Audio Understanding on Mobile Devices

• arxiv url: http://arxiv.org/abs/2609.37617v1
• Date: Tue, 29 Sep 2026 13:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.593101
• Title: AS$^2$D: Accelerating On-Demand Audio Understanding on Mobile Devices
• Title（参考訳）: AS$2$D: モバイルデバイス上でのオンデマンド音声理解の高速化
• Abstract要約: 投機的復号化は、より小さなドラフトラを使って、より大きなターゲットによるバッチ検証のためのトークンを提案することにより、自己回帰生成を加速する。 本稿では,AS$2$D(Audio Speculative Speculative Decoding)を提案する。 MNN for AndroidでAS$Dを実装し、4つの携帯電話、7つのデータセット、3つのタスクで12.2時間の音声をカバーする2つのターゲットモデルを評価します。
• 参考スコア（独自算出の注目度）: 16.863668058862785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative decoding accelerates autoregressive generation by using a smaller drafter to propose tokens for batched verification by a larger target. However, conventional speculative decoding couples drafting to the target's evolving verified prefix, serializing drafting and verification. We ask whether this dependency is necessary for source-conditioned generation. Our key observation is that, for audio language models, the input audio and user request can provide useful speculative candidates without following the target's evolving text prefix. We propose AS$^2$D (Audio Speculative Speculative Decoding), which enables target-decoupled drafting: an audio-conditioned drafter follows its own generation history while the target independently verifies and corrects ready candidates. Without usable candidates, the target advances alone. Thus, target feedback determines which candidates are committed but no longer determines when the drafter can make progress, enabling drafting and verification to proceed concurrently while retaining target-side verification and correction. We implement AS$^2$D in MNN for Android and evaluate two target models across four phones, seven datasets, and three tasks covering 12.2 hours of audio. Across four phones, AS$^2$D improves pooled ASR throughput by 42-76% over target-only decoding, while only 5.7% of evaluation windows are slower than target-only, compared with 58.1-63.0% for speculative baselines. For ASR, AS$^2$D reaches 97.33-98.20% of a hindsight per-window oracle's pooled throughput over the evaluated drafter/budget catalog. Native on-demand execution with a 7B target achieves up to 78% higher throughput than target-only. These results show that source-conditioned audio generation can relax the conventional dependence of speculative drafting on the target's evolving output prefix, exposing substantial parallelism for efficient inference.
• Abstract（参考訳）: 投機的復号化は、より小さなドラフトラを使って、より大きなターゲットによるバッチ検証のためのトークンを提案することにより、自己回帰生成を加速する。 しかし、従来の投機的復号化カップルは、ターゲットの進化した検証されたプレフィックスに起草し、起草と検証をシリアライズする。 この依存関係がソース条件付き生成に必要かどうかを問う。 我々のキーとなる観察は、音声言語モデルでは、ターゲットの進化するテキストプレフィックスに従わずに、入力音声とユーザ要求が有用な投機的候補を提供することができることである。 本稿では,AS$2$D(Audio Speculative Speculative Decoding)を提案する。これは,音声条件付きドラフトラが独自の生成履歴を追従し,ターゲットが独立して準備された候補を検証し,修正する。 使用可能な候補がなければ、ターゲットは単独で前進する。 従って、目標フィードバックは、どの候補がコミットされているかを判断するが、ドラフト作成者がいつ進行できるかを判断しなくなり、目標側の検証と修正を維持しながら、ドラフト作成と検証を同時に行うことができる。 MNN for AndroidにAS$2$Dを実装し、4つの携帯電話、7つのデータセット、3つのタスクで12.2時間の音声をカバーする2つのターゲットモデルを評価する。 AS$2$Dは、ターゲットのみのデコードよりも42-76%、評価ウィンドウの5.7%がターゲットのみよりも遅いのに対し、投機ベースラインは58.1-63.0%である。 ASR の場合、AS$2$D は、評価されたドラフト/予算カタログ上で、ウィンドウごとの後方視のスループットの 97.33-98.20% に達する。 7Bターゲットによるネイティブオンデマンド実行は、ターゲットのみよりも最大78%高いスループットを達成する。 これらの結果から、ソース条件付き音声生成は、ターゲットの進化する出力プレフィックスに対する投機的起草の従来の依存を緩和し、効率的な推論のための実質的な並列性を明らかにした。

関連論文リスト

• Draft-OPD: On-Policy Distillation for Speculative Draft Models [49.23782868133977]
  投機的復号化は,提案したトークンを並列に検証した軽量なドラフトモデルとターゲットモデルを組み合わせることで,大規模言語モデル推論を加速させる。 本稿では,安定な継続のために目標支援ロールアウトを利用するDraft-OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-28T04:30:22Z)
• dVoting: Fast Voting for dLLMs [71.572316901001]
  拡散大言語モデル(dLLMs)は自己回帰モデリングを超えた新しいパラダイムである。 dLLMは任意の位置で任意のトークンを並列に生成できるため、並列テストタイムスケーリングには大きな可能性がある。 トレーニングなしで推論能力を高める高速投票手法であるdVotingを導入する。
  論文  参考訳（メタデータ） (2026-02-12T16:35:05Z)
• Efficient Reasoning for LLMs through Speculative Chain-of-Thought [39.56636034410561]
  OpenAI-o1やDeepseek-R1のような大きな推論言語モデルは、タスク解決能力が優れていたため、広く注目を集めている。 効率的な推論のための既存の方法は、主にモデルパラメータの数を減らしたり、チェーンオブ思考の長さを短縮することに焦点を当てている。 本稿では,平均推論速度の高速化により推理遅延を他の視点から低減するSCoT(Speculative Chain-of-Thought)を提案する。
  論文  参考訳（メタデータ） (2025-04-27T03:56:39Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• PEARL: Parallel Speculative Decoding with Adaptive Draft Length [12.166703341906242]
  本稿では,適応dRaft Length(PEARL)を用いた投機的復号化(Parallel speculative decoding)を促進するための,概念的にシンプルでフレキシブルで汎用的なフレームワークを提案する。 PEARLは、ドラフトフェーズ中に事前に最初のドラフトトークンを検証し、検証フェーズ中により多くのドラフトトークンを生成するための後検証を提案する。 各種テキスト生成ベンチマークの実験では、PEARLの有効性が実証されており、自動回帰復号法とバニラ投機復号法と比較して、パフォーマンスが4.43$times$と1.50$times$に向上した。
  論文  参考訳（メタデータ） (2024-08-13T08:32:06Z)
• SpecDec++: Boosting Speculative Decoding via Adaptive Candidate Lengths [41.863092939498316]
  投機的復号化は、より小さくより高速なドラフトモデルを利用することで、ターゲットとする大言語モデルの推論遅延を低減する。 候補長Kの選択について検討し、マルコフ決定過程として定式化する。 この理論によって動機付けられたSpecDec++は、投機的復号法の拡張版で、ハエの候補長を適応的に決定する。
  論文  参考訳（メタデータ） (2024-05-30T05:49:38Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• DistillSpec: Improving Speculative Decoding via Knowledge Distillation [70.61777015900272]
  投機的復号(SD)は、複数のトークンを生成するためにより高速なドラフトモデルを使用することで、大きな言語モデル推論を加速する。 本稿では,SDを適用する前に,知識蒸留を用いて,ドラフトモデルとターゲットモデルとの整合性を向上するDistillSpecを提案する。 DistillSpecは標準SDよりも10～45%のスピードアップを実現しています。
  論文  参考訳（メタデータ） (2023-10-12T16:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。