論文の概要: DIFFLET: A Fast Inference Engine for Diffusion Transformer Models on AWS Trainium

• arxiv url: http://arxiv.org/abs/2610.23047v2
• Date: Tue, 20 Oct 2026 01:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.222771
• Title: DIFFLET: A Fast Inference Engine for Diffusion Transformer Models on AWS Trainium
• Title（参考訳）: DIFFLET: AWS Trainium上の拡散トランスフォーマーモデルのための高速推論エンジン
• Abstract要約: 5つのモデルパイプラインが1つのコンパイルバックエンドを共有するサーブエンジンであるDiffletを紹介します。 小さなプローブプログラムがデバイス上のキャッシュ信号を計算し、ステップ毎に1つの番号を返す。 5つの画像およびビデオモデルファミリの中で、融合された注意は、同じフレームワーク上で1.2-4.3倍のデノイザーステップを加速させる。
• 参考スコア（独自算出の注目度）: 10.714906568563157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On AWS Trainium2, every component of a diffusion model runs as a program compiled ahead of time for fixed shapes, while pipelines differ across models, prompt lengths across requests, and caching decisions across denoising steps. We present Difflet, a serving engine in which five model pipelines share one compilation backend, joint attention is split across cores by attention head, and a host controller decides at each denoising step whether to run the denoiser or reuse its earlier output. A small probe program computes the caching signal on the device and returns one number per step, and a resident model process keeps every program loaded across requests. Across five image and video model families, fused attention accelerates denoiser steps by 1.2-4.3x over the same framework using PyTorch/XLA attention, and at 32.8k visual tokens it is the only attention that compiles. On four of the five models, resident serving is 1.5-3.4x faster than standalone runs that reload weights from a warm file cache for each generation.
• Abstract（参考訳）: AWS Trainium2では、拡散モデルのすべてのコンポーネントが、固定された形状のために事前にコンパイルされたプログラムとして実行される。 本稿では,5つのモデルパイプラインが1つのコンパイルバックエンドを共有するサーブエンジンであるDiffletについて紹介する。 小さなプローブプログラムがデバイス上のキャッシュ信号を計算し、ステップ毎に1つの番号を返す。 5つのイメージモデルとビデオモデルファミリで、融合されたアテンションはPyTorch/XLAアテンションを使用して同じフレームワーク上で1.2-4.3xのデノイザーステップを加速し、32.8kのビジュアルトークンでコンパイルされる唯一のアテンションである。 5つのモデルのうち、4つのモデルのうち、1世代ごとに温かいファイルキャッシュから重みをリロードするスタンドアロンのランニングよりも1.5-3.4倍高速である。

関連論文リスト

• Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode [0.0]
  CPU上のシングルトークンの自己回帰デコードは、演算ではなくメモリ帯域幅によって拘束される。 このレポートは、最も効果的な反応はモデルアーキテクチャと推論を一緒に設計することであると主張している。 CPUファーストのストリーミングエンジンであるcflowと、パイプラインネイティブなトランスフォーマーアーキテクチャのファミリが同梱されている。
  論文  参考訳（メタデータ） (2026-08-24T21:28:05Z)
• Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets [0.0]
  私たちは、少数のAIPCが、単一のAIPCの能力を超えたモデルを提供できることを示しています。 Intel Tiber Cloud上のLunar Lake AI PCの4ノードデプロイは、対話的な速度で単一のユーザに提供する。
  論文  参考訳（メタデータ） (2026-08-19T17:33:28Z)
• Hydra: Unifying Document Retrieval and Generation in a Single Vision-Language Model [0.0]
  Hydraは、シングルビジョン言語モデル(VLM)からColBERTスタイルの遅延相互作用検索と自己回帰生成の両方を提供するデュアルヘッドアプローチである。 単一のLoRAアダプタは、検索用にのみ訓練され、推論時にトグルされる。 ViDoRe V1では、Hydra (4B) は単一のトレーニングランで制御された単一ヘッドベースラインの1パーセント以内である。
  論文  参考訳（メタデータ） (2026-03-30T15:17:41Z)
• Next Tokens Denoising for Speech Synthesis [51.320443764269726]
  Dragon-FMは、ARとフローマッチングを統合する新しいテキスト音声(TTS)設計である。 毎秒12.5トークンのコンパクトレートで48kHzのオーディオトークンをチャンクで処理する。 ポッドキャストデータセットの実験では、高品質なゼロショットポッドキャストを効率的に生成できることが示されている。
  論文  参考訳（メタデータ） (2025-07-30T15:03:36Z)
• Flexiffusion: Segment-wise Neural Architecture Search for Flexible Denoising Schedule [50.260693393896716]
  拡散モデル(diffusion model)は、多様な高品質な画像を生成するのに適した最先端の生成モデルである。 近年,より高速な生成プロセスの自動探索技術が採用されている。 拡散モデルの高速化を目的とした新しいトレーニングフリーNASパラダイムであるFlexiffusionを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T06:28:05Z)
• AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
  AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。 安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。 我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
  論文  参考訳（メタデータ） (2024-06-11T03:09:37Z)
• Fast Inference from Transformers via Speculative Decoding [3.950600027250452]
  Transformersのような大規模な自己回帰モデルからの推論は遅く、Kトークンの復号化はモデルのKシリアル実行を伴います。 本研究では,複数のトークンを並列に計算することで,自動回帰モデルから高速にサンプリングするアルゴリズムである投機的復号化を導入する。
  論文  参考訳（メタデータ） (2022-11-30T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。