論文の概要: SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds

• arxiv url: http://arxiv.org/abs/2306.00980v2
• Date: Sat, 3 Jun 2023 13:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 11:11:37.207235
• Title: SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds
• Title（参考訳）: SnapFusion:2秒以内にモバイルデバイス上でのテキストと画像の拡散モデル
• Authors: Yanyu Li, Huan Wang, Qing Jin, Ju Hu, Pavlo Chemerys, Yun Fu, Yanzhi Wang, Sergey Tulyakov, Jian Ren
• Abstract要約: テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 75.46623009669246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models can create stunning images from natural language descriptions that rival the work of professional artists and photographers. However, these models are large, with complex network architectures and tens of denoising iterations, making them computationally expensive and slow to run. As a result, high-end GPUs and cloud-based inference are required to run diffusion models at scale. This is costly and has privacy implications, especially when user data is sent to a third party. To overcome these challenges, we present a generic approach that, for the first time, unlocks running text-to-image diffusion models on mobile devices in less than $2$ seconds. We achieve so by introducing efficient network architecture and improving step distillation. Specifically, we propose an efficient UNet by identifying the redundancy of the original model and reducing the computation of the image decoder via data distillation. Further, we enhance the step distillation by exploring training strategies and introducing regularization from classifier-free guidance. Our extensive experiments on MS-COCO show that our model with $8$ denoising steps achieves better FID and CLIP scores than Stable Diffusion v$1.5$ with $50$ steps. Our work democratizes content creation by bringing powerful text-to-image diffusion models to the hands of users.
• Abstract（参考訳）: テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語記述から素晴らしい画像を作ることができる。 しかし、これらのモデルは大規模であり、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションがあり、計算コストが高く、実行が遅い。 その結果、大規模に拡散モデルを実行するには、ハイエンドGPUとクラウドベースの推論が必要である。 これはコストが高く、特にユーザデータがサードパーティに送信された場合、プライバシーに影響を及ぼす。 これらの課題を克服するために,我々は,モバイル端末上でテキストから画像への拡散モデルを実行する際,初めて2ドル未満でアンロックを行う方法を提案する。 我々は,効率的なネットワークアーキテクチャを導入し,ステップ蒸留を改善した。 具体的には, 元のモデルの冗長性を同定し, データ蒸留による画像デコーダの計算量を削減することで, 効率的な unet を提案する。 さらに, 学習戦略を探究し, 分類器なし指導からの正規化を導入することで, ステップ蒸留の促進を図る。 ms-cocoでの広範な実験で、我々のモデルは8ドルのステップで、安定した拡散v$1.5$と50ドルのステップよりも良いfidとクリップスコアが得られることが分かりました。 私たちの仕事は、強力なテキストから画像への拡散モデルによって、コンテンツの創造を民主化します。

関連論文リスト

• Diffusion Models Need Visual Priors for Image Generation [86.92260591389818]
  Diffusion on Diffusion (DoD)は、先述したサンプルから視覚的先行情報を抽出し、拡散モデルのための豊富なガイダンスを提供する革新的な多段階生成フレームワークである。 我々は、人気のあるImageNet-$256 256$データセット上でDoDを評価し、SiTやDiTと比較して7$times$トレーニングコストを削減した。 私たちの最大のモデルであるDoD-XLは、FID-50Kスコアが1.83で、100万のトレーニングステップしか達成していません。
  論文  参考訳（メタデータ） (2024-10-11T05:03:56Z)
• FreeSeg-Diff: Training-Free Open-Vocabulary Segmentation with Diffusion Models [56.71672127740099]
  我々は,閉鎖語彙データセットのトレーニングモデルによって伝統的に解決されるイメージセグメンテーションの課題に焦点をあてる。 我々は、ゼロショットのオープン語彙セグメンテーションのために、異なる、比較的小さなオープンソース基盤モデルを活用している。 当社のアプローチ(別名FreeSeg-Diff)は、トレーニングに依存しないもので、Pascal VOCとCOCOデータセットの両方で多くのトレーニングベースのアプローチより優れています。
  論文  参考訳（メタデータ） (2024-03-29T10:38:25Z)
• One-Step Image Translation with Text-to-Image Models [35.0987002313882]
  本稿では,新たな課題や領域に一段階拡散モデルを適用するための汎用的手法を提案する。 我々は,バニラ潜在拡散モデルの様々なモジュールを,小さなトレーニング可能な重みを持つ単一エンドツーエンドのジェネレータネットワークに統合する。 我々のモデルであるCycleGAN-Turboは、様々なシーン翻訳タスクにおいて、既存のGANベースおよび拡散ベースの手法より優れています。
  論文  参考訳（メタデータ） (2024-03-18T17:59:40Z)
• E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
  拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか? まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。 第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。 第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-01-11T18:59:14Z)
• SwiftBrush: One-Step Text-to-Image Diffusion Model with Variational Score Distillation [1.5892730797514436]
  テキストと画像の拡散モデルは、しばしば遅い反復的なサンプリングプロセスに悩まされる。 我々は$textbfSwiftBrush$という新しいイメージフリー蒸留方式を提案する。 SwiftBrushは、COCO-30Kベンチマークで、$textbf16.67$のFIDスコアと$textbf0.29$のCLIPスコアを達成している。
  論文  参考訳（メタデータ） (2023-12-08T18:44:09Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models [6.821399706256863]
  W"urstchen"は、競争性能と前例のない費用対効果を組み合わせたテキスト対画像合成の新しいアーキテクチャである。 我々の研究の重要な貢献は、詳細だが非常にコンパクトなセマンティックイメージ表現を学習する潜伏拡散技術を開発することである。
  論文  参考訳（メタデータ） (2023-06-01T13:00:53Z)
• LLM-grounded Diffusion: Enhancing Prompt Understanding of Text-to-Image Diffusion Models with Large Language Models [62.75006608940132]
  本研究は,テキストから画像への拡散モデルにおいて,迅速な理解能力を高めることを提案する。 提案手法は,新たな2段階プロセスにおいて,事前訓練された大規模言語モデルを用いてグラウンドド生成を行う。 提案手法は,画像の正確な生成において,ベース拡散モデルといくつかの強いベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2023-05-23T03:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。