論文の概要: Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations

• arxiv url: http://arxiv.org/abs/2304.11267v2
• Date: Fri, 16 Jun 2023 17:04:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 17:14:14.956721
• Title: Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations
• Title（参考訳）: GPU対応最適化による大規模拡散モデルのデバイス上での高速化
• Authors: Yu-Hui Chen, Raman Sarokin, Juhyun Lee, Jiuqiang Tang, Chuo-Ling Chang, Andrei Kulik, Matthias Grundmann
• Abstract要約: 本稿では,これまで報告された最も高速な推論遅延を実現する大規模拡散モデルの実装最適化について述べる。 これらの強化により、生成AIの適用範囲が拡大し、幅広いデバイスにわたるユーザエクスペリエンスが向上する。
• 参考スコア（独自算出の注目度）: 2.216657815393579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development and application of foundation models have revolutionized the field of artificial intelligence. Large diffusion models have gained significant attention for their ability to generate photorealistic images and support various tasks. On-device deployment of these models provides benefits such as lower server costs, offline functionality, and improved user privacy. However, common large diffusion models have over 1 billion parameters and pose challenges due to restricted computational and memory resources on devices. We present a series of implementation optimizations for large diffusion models that achieve the fastest reported inference latency to-date (under 12 seconds for Stable Diffusion 1.4 without int8 quantization on Samsung S23 Ultra for a 512x512 image with 20 iterations) on GPU-equipped mobile devices. These enhancements broaden the applicability of generative AI and improve the overall user experience across a wide range of devices.
• Abstract（参考訳）: 基礎モデルの急速な発展と応用は人工知能の分野に革命をもたらした。 大規模拡散モデルは、フォトリアリスティックな画像を生成し、様々なタスクをサポートする能力で注目されている。 これらのモデルのオンデバイスデプロイメントは、サーバコストの低減、オフライン機能、ユーザのプライバシの改善といったメリットを提供する。 しかし、一般的な大規模拡散モデルは10億以上のパラメータを持ち、デバイス上の制限された計算資源とメモリ資源のために課題を提起する。 我々は,Samsung S23 Ultraの512x512イメージに対して,Int8量子化を伴わない安定拡散1.4の12秒間において,GPU搭載モバイルデバイス上での高速な推論遅延を実現する,大規模拡散モデルの一連の実装最適化を提案する。 これらの強化により、生成AIの適用範囲が拡大し、幅広いデバイスにわたるユーザエクスペリエンスが向上する。

関連論文リスト

• Fast and Memory-Efficient Video Diffusion Using Streamlined Inference [41.505829393818274]
  現在のビデオ拡散モデルは、計算要求と高いピークメモリ使用量を示す。 本稿では,映像拡散モデルの時間的・空間的特性を利用したストリーム線形推論を提案する。 我々のアプローチはピークメモリと計算オーバーヘッドを大幅に削減し、単一のコンシューマGPU上で高品質なビデオを生成することができる。
  論文  参考訳（メタデータ） (2024-11-02T07:52:18Z)
• SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions [5.100085108873068]
  SDXS-512 と SDXS-1024 の2つのモデルを示し,1つのGPU上で約100 FPS (SD v1.5 より30倍速い) と30 FPS (SDXLより60倍速い) の推論速度を実現する。 我々のトレーニングアプローチは、画像条件付き制御に有望な応用を提供し、画像間の効率的な翻訳を容易にする。
  論文  参考訳（メタデータ） (2024-03-25T11:16:23Z)
• Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation [112.08287900261898]
  本稿では,高解像度画像への高速適応と映像生成のための新しい自己カスケード拡散モデルを提案する。 提案手法は5Xトレーニングの高速化を実現し,さらに0.002Mのチューニングパラメータしか必要としない。 実験により,提案手法は10kステップの微調整によって高速に高分解能画像やビデオ合成に適応できることを示した。
  論文  参考訳（メタデータ） (2024-02-16T07:48:35Z)
• Diffusion Models Without Attention [110.5623058129782]
  Diffusion State Space Model (DiffuSSM) は、よりスケーラブルな状態空間モデルバックボーンで注目メカニズムを置き換えるアーキテクチャである。 拡散訓練におけるFLOP効率の高いアーキテクチャへの注力は、大きな前進となる。
  論文  参考訳（メタデータ） (2023-11-30T05:15:35Z)
• MobileDiffusion: Instant Text-to-Image Generation on Mobile Devices [13.923293508790122]
  我々は,高効率なテキスト・画像拡散モデルである textbfMobileDiffusion を提案する。 蒸留法と拡散GAN微調整法をMobileDiffusionに応用し, それぞれ8ステップと1ステップの推論を行った。 MobileDiffusionは、モバイルデバイス上で512times512$の画像を生成するために、驚くべきTextbfsub秒の推論速度を達成する。
  論文  参考訳（メタデータ） (2023-11-28T07:14:41Z)
• Squeezing Large-Scale Diffusion Models for Mobile [13.812821255482916]
  我々は,iOS と Android デバイスを用いたモバイルデバイスに安定拡散をデプロイする上での課題と解決策を提示する。 その結果、モバイルディフュージョンは、モバイルを持つAndroidデバイスで512x512の画像生成のために7秒未満の推論レイテンシを実現する。
  論文  参考訳（メタデータ） (2023-07-03T17:54:40Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning [114.66037224769005]
  エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。 提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。 モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
  論文  参考訳（メタデータ） (2022-11-08T17:40:50Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• Real-Time Quantized Image Super-Resolution on Mobile NPUs, Mobile AI 2021 Challenge: Report [67.86837649834636]
  我々は,エンド・ツー・エンドのディープラーニングベースの画像超解像ソリューションを開発することを目的とした,最初のモバイルaiチャレンジを紹介する。 提案されたソリューションは、すべての主要なモバイルAIアクセラレータと完全に互換性があり、40-60ms以下のフルHDイメージを再構築することができる。
  論文  参考訳（メタデータ） (2021-05-17T13:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。