論文の概要: SwiftBrush v2: Make Your One-step Diffusion Model Better Than Its Teacher

• arxiv url: http://arxiv.org/abs/2408.14176v2
• Date: Tue, 27 Aug 2024 04:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 12:32:32.968268
• Title: SwiftBrush v2: Make Your One-step Diffusion Model Better Than Its Teacher
• Title（参考訳）: SwiftBrush v2:教師より1段階の拡散モデル
• Authors: Trung Dao, Thuan Hoang Nguyen, Thanh Le, Duc Vu, Khoi Nguyen, Cuong Pham, Anh Tran,
• Abstract要約: 我々は,一段階のテキスト・ツー・イメージ拡散モデルであるSwiftBrushの性能を向上させる。 効率的なLoRAでトレーニングされたモデルの重みとフルトレーニングを組み合わせることで、新しい最先端のワンステップ拡散モデルを実現する。
• 参考スコア（独自算出の注目度）: 6.244361538233214
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we aim to enhance the performance of SwiftBrush, a prominent one-step text-to-image diffusion model, to be competitive with its multi-step Stable Diffusion counterpart. Initially, we explore the quality-diversity trade-off between SwiftBrush and SD Turbo: the former excels in image diversity, while the latter excels in image quality. This observation motivates our proposed modifications in the training methodology, including better weight initialization and efficient LoRA training. Moreover, our introduction of a novel clamped CLIP loss enhances image-text alignment and results in improved image quality. Remarkably, by combining the weights of models trained with efficient LoRA and full training, we achieve a new state-of-the-art one-step diffusion model, achieving an FID of 8.14 and surpassing all GAN-based and multi-step Stable Diffusion models. The project page is available at https://swiftbrushv2.github.io.
• Abstract（参考訳）: 本稿では,一段階のテキスト・画像拡散モデルであるSwiftBrushの性能向上を目標とし,多段階の安定拡散モデルと競合する。 SwiftBrushとSD Turbo:前者は画像の多様性に優れ、後者は画質に優れています。 この観察は、より優れた重量初期化と効率的なLoRA訓練を含む、トレーニング方法論における我々の提案した修正を動機付けている。 さらに,新しいCLIP損失の導入により,画像テキストのアライメントが向上し,画質が向上した。 注目すべきは、効率的なLoRAとフルトレーニングでトレーニングされたモデルの重みを組み合わせることで、新しい最先端のワンステップ拡散モデルを実現し、8.14のFIDを達成し、すべてのGANベースおよびマルチステップ安定拡散モデルを上回る。 プロジェクトのページはhttps://swiftbrushv2.github.ioで公開されている。

関連論文リスト

• One Diffusion Step to Real-World Super-Resolution via Flow Trajectory Distillation [60.54811860967658]
  FluxSRはフローマッチングモデルに基づく新しい一段階拡散リアルISRである。 まず,フロートラジェクトリ蒸留(FTD)を導入し,多段階のフローマッチングモデルを1段階のリアルISRに蒸留する。 第2に、画像リアリズムを改善し、生成画像の高周波アーティファクト問題に対処するために、テレビLPIPSを知覚的損失として提案する。
  論文  参考訳（メタデータ） (2025-02-04T04:11:29Z)
• Accelerate High-Quality Diffusion Models with Inner Loop Feedback [50.00066451431194]
  内ループフィードバック (ILF) は拡散モデルの推論を高速化する新しい手法である。 ILFは、デノナイジングプロセスの将来の機能を予測するために、軽量モジュールをトレーニングする。 ILFは拡散変換器(DiT)とDiTベースのPixArt-alphaとPixArt-sigmaによるテキスト・ツー・画像生成の両方で高い性能を達成している。
  論文  参考訳（メタデータ） (2025-01-22T18:59:58Z)
• OFTSR: One-Step Flow for Image Super-Resolution with Tunable Fidelity-Realism Trade-offs [20.652907645817713]
  OFTSRはワンステップ画像超解像のためのフローベースフレームワークであり、可変レベルの忠実度とリアリズムで出力を生成することができる。 我々は,一段階画像の超高解像度化を実現するとともに,忠実現実主義のトレードオフを柔軟に調整できることを実証した。
  論文  参考訳（メタデータ） (2024-12-12T17:14:58Z)
• SNOOPI: Supercharged One-step Diffusion Distillation with Proper Guidance [12.973835034100428]
  本稿では, SNOOPIについて述べる。SNOOPIは, トレーニングと推論の双方において, ワンステップ拡散モデルのガイダンスを高めるために設計された新しいフレームワークである。 両教師モデルの指導尺度を変化させることで、出力分布を拡大し、より堅牢なVSD損失が発生し、SBは競争性能を維持しつつ、多様なバックボーンを効果的に実行できる。 第2に、負のプロンプトを1段階拡散モデルに統合して、生成した画像中の望ましくない要素を抑圧する、負のアウェイステア注意(Negative-Away Steer Attention, NASA)と呼ばれるトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T18:56:32Z)
• RL for Consistency Models: Faster Reward Guided Text-to-Image Generation [15.238373471473645]
  強化学習(RL)を用いた微調整一貫性モデルのためのフレームワークを提案する。 RLCM(Reinforcement Learning for Consistency Model)と呼ばれる我々のフレームワークは、一貫性モデルの反復推論プロセスをRLプロシージャとしてフレーム化します。 RL微調整拡散モデルと比較して、RCCMの列車は大幅に高速で、報奨目標に基づいて測定された生成の質を向上し、2段階の推論ステップで高品質な画像を生成することにより推論手順を高速化する。
  論文  参考訳（メタデータ） (2024-03-25T15:40:22Z)
• E$^{2}$GAN: Efficient Training of Efficient GANs for Image-to-Image Translation [69.72194342962615]
  拡散モデルからGANを蒸留するプロセスは、より効率的にできるのか? まず、一般化された特徴を持つベースGANモデルを構築し、微調整により異なる概念に適応し、スクラッチからトレーニングの必要性を排除した。 第2に,ベースモデル全体の微調整を行うのではなく,低ランク適応(LoRA)を簡易かつ効果的なランク探索プロセスで行う。 第3に、微調整に必要な最小限のデータ量を調査し、トレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-01-11T18:59:14Z)
• Adversarial Diffusion Distillation [18.87099764514747]
  逆拡散蒸留(adversarial Diffusion Distillation、ADD)は、1-4ステップで大規模な基礎画像拡散モデルを効率的にサンプリングする新しい訓練手法である。 我々は,大規模なオフザシェルフ画像拡散モデルを教師信号として活用するために,スコア蒸留を用いる。 本モデルでは,既存の数ステップ法を1ステップで明らかに上回り,4ステップで最先端拡散モデル(SDXL)の性能に到達する。
  論文  参考訳（メタデータ） (2023-11-28T18:53:24Z)
• DiffDis: Empowering Generative Diffusion Model with Cross-Modal Discrimination Capability [75.9781362556431]
  本稿では,拡散過程下での1つのフレームワークに,モダクティブと差別的事前学習を統一するDiffDisを提案する。 DiffDisは画像生成タスクと画像テキスト識別タスクの両方において単一タスクモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-18T05:03:48Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• Wuerstchen: An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models [6.821399706256863]
  W"urstchen"は、競争性能と前例のない費用対効果を組み合わせたテキスト対画像合成の新しいアーキテクチャである。 我々の研究の重要な貢献は、詳細だが非常にコンパクトなセマンティックイメージ表現を学習する潜伏拡散技術を開発することである。
  論文  参考訳（メタデータ） (2023-06-01T13:00:53Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。