論文の概要: FREE: Uncertainty-Aware Autoregression for Parallel Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2511.20390v1
• Date: Tue, 25 Nov 2025 15:12:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.519868
• Title: FREE: Uncertainty-Aware Autoregression for Parallel Diffusion Transformers
• Title（参考訳）: FREE: 並列拡散変換器における不確かさを意識した自己回帰
• Authors: Xinwan Wen, Bowen Li, Jiajun Luo, Ye Li, Zhi Wang,
• Abstract要約: FREEは、並列検証で機能レベルの自動回帰を実行するために軽量なドラフトラを使用する、新しいフレームワークである。 ImageNet-$5122$の実験では、FREEは最大1.86倍の加速を実現し、FREE(relax)はさらに2.25倍のスピードアップを達成した。
• 参考スコア（独自算出の注目度）: 12.17745708847535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion Transformers (DiTs) achieve state-of-the-art generation quality but require long sequential denoising trajectories, leading to high inference latency. Recent speculative inference methods enable lossless parallel sampling in U-Net-based diffusion models via a drafter-verifier scheme, but their acceleration is limited on DiTs due to insufficient draft accuracy during verification. To address this limitation, we analyze the DiTs' feature dynamics and find the features of the final transformer layer (top-block) exhibit strong temporal consistency and rich semantic abstraction. Based on this insight, we propose FREE, a novel framework that employs a lightweight drafter to perform feature-level autoregression with parallel verification, guaranteeing lossless acceleration with theoretical and empirical support. Meanwhile, prediction variance (uncertainty) of DiTs naturally increases in later denoising steps, reducing acceptance rates under speculative sampling. To mitigate this effect, we further introduce an uncertainty-guided relaxation strategy, forming FREE (relax), which dynamically adjusts the acceptance probability in response to uncertainty levels. Experiments on ImageNet-$512^2$ show that FREE achieves up to $1.86 \times$ acceleration, and FREE (relax) further reaches $2.25 \times$ speedup while maintaining high perceptual and quantitative fidelity in generation quality.
• Abstract（参考訳）: Diffusion Transformer (DiTs)は、最先端の生成品質を実現するが、長いシーケンシャルなデノナイジング軌道を必要とするため、高い推論遅延をもたらす。 近年の投機的推論手法により,U-Netベースの拡散モデルにおいて,ドラフト器検証方式による損失のない並列サンプリングが可能となっているが,検証中のドラフト精度が不十分なため,DiT上での高速化は制限されている。 この制限に対処するために、我々はDiTsの機能ダイナミクスを分析し、最後のトランスフォーマー層(トップブロック)の特徴を見つけ、強い時間的一貫性とリッチなセマンティック抽象化を示す。 この知見に基づいて、並列検証による特徴レベルの自己回帰を実現するための軽量なドラフトラを用いた新しいフレームワークであるFREEを提案し、理論的および経験的支援による損失のない加速を保証する。 一方、DiTsの予測ばらつき(不確かさ)は後続の段階で自然に増加し、投機的サンプリングによる受容率を低下させる。 この効果を緩和するために、不確実性レベルに応じて受容確率を動的に調整するFREE(relax)を形成する不確実性誘導緩和戦略を導入する。 ImageNet-$512^2$の実験では、FREEは最大1.86 \times$Accelerationを達成し、FREE(relax)はさらに2.25 \times$Speedupに達した。

関連論文リスト

• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• RAPID^3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformer [86.57077884971478]
  ディフュージョントランスフォーマー(DiT)は、視覚発生時に優れるが、遅いサンプリングによって妨げられる。 本稿では,RAPID3: Tri-Level Reinforced Acceleration Policies for Diffusion Transformersを紹介する。 ベースジェネレータの更新をゼロにするイメージワイドアクセラレーションを提供する。 競合する生成品質でサンプリングを3倍近く高速化する。
  論文  参考訳（メタデータ） (2025-09-26T13:20:52Z)
• EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
  大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。 ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。 本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:00:13Z)
• Sortblock: Similarity-Aware Feature Reuse for Diffusion Model [9.749736545966694]
  Diffusion Transformer (DiTs) は顕著な生成能を示した。 DiTのシーケンシャルな denoising プロセスは、高い推論遅延をもたらす。 トレーニング不要な推論アクセラレーションフレームワークであるSoltblockを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:10:54Z)
• Optimal Batch-Size Control for Low-Latency Federated Learning with Device Heterogeneity [30.53961003855146]
  フェデレートラーニング(FL)は、第6世代(6G)ネットワークにおける協調機械学習の一般的なアプローチとして登場した。 FLアルゴリズムの展開は、自律運転、拡張現実、ヘルスケアなど、幅広いIoT(Internet-of-Things)アプリケーションを強化することが期待されている。 本稿では,収束性を確保しつつ,エンドツーエンド(E2E)学習遅延を最小限に抑える,バッチサイズ最適制御のための新しいC$2のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-21T13:24:38Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Provable Acceleration for Diffusion Models under Minimal Assumptions [8.15094483029656]
  そこで本研究では,スコアベースサンプルの学習自由化手法を提案する。 最小限の仮定の下で、我々のスキームは$widetildeO(d5/4/sqrtvarepsilon)$で全変量を達成する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:06Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。