論文の概要: Fast-ARDiff: An Entropy-informed Acceleration Framework for Continuous Space Autoregressive Generation

• arxiv url: http://arxiv.org/abs/2512.08537v1
• Date: Tue, 09 Dec 2025 12:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-10 22:28:07.952917
• Title: Fast-ARDiff: An Entropy-informed Acceleration Framework for Continuous Space Autoregressive Generation
• Title（参考訳）: Fast-ARDiff: 連続宇宙自動回帰生成のためのエントロピーインフォーム・アクセラレーションフレームワーク
• Authors: Zhen Zou, Xiaoxiao Ma, Jie Huang, Zichao Yu, Feng Zhao,
• Abstract要約: 自己回帰(AR)拡散ハイブリッドパラダイムはARの構造モデリングと拡散合成を組み合わせたものである。 両コンポーネントを協調的に最適化するAR拡散フレームワークFast-ARDiffを提案する。 Fast-ARDiffは、さまざまなモデルにわたる最先端のアクセラレーションを実現する。
• 参考スコア（独自算出の注目度）: 12.384836052394272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive(AR)-diffusion hybrid paradigms combine AR's structured modeling with diffusion's photorealistic synthesis, yet suffer from high latency due to sequential AR generation and iterative denoising. In this work, we tackle this bottleneck and propose a unified AR-diffusion framework Fast-ARDiff that jointly optimizes both components, accelerating AR speculative decoding while simultaneously facilitating faster diffusion decoding. Specifically: (1) The entropy-informed speculative strategy encourages draft model to produce higher-entropy representations aligned with target model's entropy characteristics, mitigating entropy mismatch and high rejection rates caused by draft overconfidence. (2) For diffusion decoding, rather than treating it as an independent module, we integrate it into the same end-to-end framework using a dynamic scheduler that prioritizes AR optimization to guide the diffusion part in further steps. The diffusion part is optimized through a joint distillation framework combining trajectory and distribution matching, ensuring stable training and high-quality synthesis with extremely few steps. During inference, shallow feature entropy from AR module is used to pre-filter low-entropy drafts, avoiding redundant computation and improving latency. Fast-ARDiff achieves state-of-the-art acceleration across diverse models: on ImageNet 256$\times$256, TransDiff attains 4.3$\times$ lossless speedup, and NextStep-1 achieves 3$\times$ acceleration on text-conditioned generation. Code will be available at https://github.com/aSleepyTree/Fast-ARDiff.
• Abstract（参考訳）: 自己回帰(AR)-拡散ハイブリッドパラダイムは、ARの構造的モデリングと拡散のフォトリアリスティック合成を組み合わせたものだが、逐次AR生成と反復的復調によって高いレイテンシに悩まされている。 本研究では,このボトルネックに対処し,両コンポーネントを協調的に最適化する統合AR拡散フレームワークであるFast-ARDiffを提案する。 具体的には,(1)エントロピーインフォームド投機戦略は,目標モデルのエントロピー特性,緩和エントロピーミスマッチ,およびドラフト過信による高い拒絶率に適合した高エントロピー表現をドラフトモデルで生成することを奨励する。 2) 拡散復号化のためには, 独立モジュールとして扱うのではなく, 動的スケジューラを用いて, 拡散部分の導出を優先する動的スケジューラを用いて, 同一のエンドツーエンドフレームワークに統合する。 拡散部は、軌道と分布マッチングを組み合わせた連成蒸留機構により最適化され、安定な訓練と極めて少ないステップで高品質な合成が可能である。 推論中、ARモジュールからの浅い機能エントロピーは、低エントロピードラフトの事前フィルタリング、冗長な計算の回避、レイテンシの改善に使用される。 ImageNet 256$\times$256、TransDiffは4.3$\times$ロスレススピードアップ、NextStep-1は3$\times$アクセラレーションを実現している。 コードはhttps://github.com/aSleepyTree/Fast-ARDiff.comから入手できる。

関連論文リスト

• SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation [62.14510717860079]
  本稿では, 自己回帰モデルの学習効率を, 拡散の並列推論能力で統一するSynergistic Diffusion-Autoregressionパラダイムを提案する。 SDARは、十分に訓練された自己回帰モデル(AR)を、簡潔でデータ効率のよい適応を通じてブロックワイズ拡散モデルに変換する、軽量なパラダイム変換を実行する。 この知見に基づいて、SDARは最小コストで効率的なAR-拡散変換を実現し、並列生成を可能にしながら、ARレベルのパフォーマンスを維持する。
  論文  参考訳（メタデータ） (2025-10-07T17:29:28Z)
• Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
  Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。 Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
  論文  参考訳（メタデータ） (2025-06-24T17:58:02Z)
• DDT: Decoupled Diffusion Transformer [51.84206763079382]
  拡散変換器はノイズの多い入力を符号化し、意味成分を抽出し、同じモジュールで高い周波数をデコードする。 textbfcolorddtDecoupled textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT)
  論文  参考訳（メタデータ） (2025-04-08T07:17:45Z)
• High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent [2.2083091880368855]
  低ランク表現は高次元スパース(HDS)データを低次元特徴空間にマッピングすることができる。 既存のLRモデルの最適化アルゴリズムは計算的に非効率であり、大規模データセット上で徐々に収束する。 A2PSGDは、HDSデータLRの既存の最適化アルゴリズムを精度とトレーニング時間の両方で上回る。
  論文  参考訳（メタデータ） (2024-08-29T14:55:33Z)
• FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework [13.4666880421568]
  本稿では,畳み込みエンコーダと改良されたカスケードバイナリタグフレームワークに基づく高速関係抽出モデル(FastRE)を提案する。 FastREは、最先端モデルと比較して3～10倍のトレーニング速度、7～15倍の推論速度、1/100のパラメータを実現している。
  論文  参考訳（メタデータ） (2022-05-05T07:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。