論文の概要: The Weight Is Over - Interactive Diffusion on Consumer GPUs

• arxiv url: http://arxiv.org/abs/2609.21849v1
• Date: Fri, 18 Sep 2026 14:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.153177
• Title: The Weight Is Over - Interactive Diffusion on Consumer GPUs
• Title（参考訳）: The Weightが終了 - コンシューマGPUの対話的拡散
• Abstract要約: 拡散パイプラインはメモリが空腹でレイテンシに敏感で、埋め込み器、トランスフォーマー、デコーダ、さらに多くの後処理を必要とする。 3つのコントリビューションは、小さなテキストエンコーダを大きなエンコーダ空間にマッピングしてウェイトとレイテンシを削減できる埋め込みトランスレータ、拡散パイプラインの速度/品質/メモリ三角形をナビゲートする再現可能なスイープレシピ、最近のGPUでサブ秒TTFIを達成するインタラクティブなオンデバイス画像生成エディタである。
• 参考スコア（独自算出の注目度）: 3.423332499970556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-device inference is booming, but the momentum is almost all in language models. Diffusion pipelines are memory hungry, latency-sensitive, and require orchestrating an embedder, a transformer, a decoder, and often further postprocessing that is not as standardized as LLM inference loops are. We navigate the trade-off between performance, quality, and model footprint to reach as many client devices in the wild as possible. We make three contributions: an embedding translator that maps a small text encoder into a large encoder space to cut weight and latency; a reproducible sweep recipe for navigating the speed/quality/memory triangle in diffusion pipelines; and an interactive on-device image generation editor achieving sub-second TTFI on recent GPUs.
• Abstract（参考訳）: オンデバイス推論は爆発的だが、その勢いはほとんどが言語モデルだ。 拡散パイプラインはメモリ空腹であり、レイテンシに敏感であり、埋め込み器、トランスフォーマー、デコーダを編成する必要がある。 パフォーマンス、品質、モデルのフットプリント間のトレードオフをナビゲートして、可能な限り多くのクライアントデバイスに到達します。 3つのコントリビューションは、小さなテキストエンコーダを大きなエンコーダ空間にマッピングしてウェイトとレイテンシを削減できる埋め込みトランスレータ、拡散パイプラインの速度/品質/メモリ三角形をナビゲートする再現可能なスイープレシピ、最近のGPUでサブ秒TTFIを達成するインタラクティブなオンデバイス画像生成エディタである。

関連論文リスト

• Compressing AI Traffic: Standardized Neural Network Coding of Visual-Token Representations in Split Vision-Language Inference [15.357950338341285]
  ビデオ-MMEの精度は、送信されたBF16テンソルの98%まで圧縮されていない基準に近づき、その後崩壊する。 オープンエンドMLVU生成はLLM判定の下で同じプラトー・アンド・ロバスト性を示す。
  論文  参考訳（メタデータ） (2026-09-01T13:07:32Z)
• An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
  音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。 共有直観自由誘導(CFG)のスループットを克服する。 連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
  論文  参考訳（メタデータ） (2026-07-02T12:55:11Z)
• StreamFusion: Scalable Sequence Parallelism for Distributed Inference of Diffusion Transformers on GPUs [8.844450350128362]
  ディフュージョントランスフォーマー(DiT)は、高品質の画像やビデオ生成において、ますます普及している。 StreamFusionは、トポロジー対応の効率的なDiTサービスエンジンである。 私たちの実験では、StreamFusionが最先端のアプローチを平均1.35タイム(最大1.77タイム)で上回ります。
  論文  参考訳（メタデータ） (2026-01-28T05:42:07Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• DDT: Decoupled Diffusion Transformer [51.84206763079382]
  拡散変換器はノイズの多い入力を符号化し、意味成分を抽出し、同じモジュールで高い周波数をデコードする。 textbfcolorddtDecoupled textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT) textbfcolorddtTransformer(textbfcolorddtDDT)
  論文  参考訳（メタデータ） (2025-04-08T07:17:45Z)
• Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [23.633481089469836]
  LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。 トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。 我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
  論文  参考訳（メタデータ） (2024-05-28T22:19:30Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• GPU-Accelerated WFST Beam Search Decoder for CTC-based Speech Recognition [1.2680687621338012]
  Connectionist Temporal Classification (CTC)モデルは、自動音声認識(ASR)パイプラインにおいて最先端の精度を提供する。 我々は、現在のCTCモデルと互換性のある、GPU駆動の重み付き有限状態トランスデューサ(WFST)ビームデコーダを導入する。 パイプラインのスループットを向上し、レイテンシを低減し、ストリーミング推論をサポートし、オンザフライ合成による発話固有の単語ブースティングなどの高度な機能をサポートする。
  論文  参考訳（メタデータ） (2023-11-08T19:57:10Z)
• Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders [77.2101943305862]
  本稿では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。
  論文  参考訳（メタデータ） (2022-06-05T01:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。