論文の概要: Phased Consistency Model

• arxiv url: http://arxiv.org/abs/2405.18407v1
• Date: Tue, 28 May 2024 17:47:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 17:20:57.766507
• Title: Phased Consistency Model
• Title（参考訳）: Phased Consistency Model
• Authors: Fu-Yun Wang, Zhaoyang Huang, Alexander William Bergman, Dazhong Shen, Peng Gao, Michael Lingelbach, Keqiang Sun, Weikang Bian, Guanglu Song, Yu Liu, Hongsheng Li, Xiaogang Wang,
• Abstract要約: 一貫性モデル(CM)は近年,拡散モデルの生成促進に大きく進展している。 しかし、遅延空間(LCM)における高解像度のテキスト条件画像生成への応用は、未だに不十分である。 本稿では、設計空間を一般化し、特定されたすべての制約に対処する位相整合モデル(PCM)を提案する。
• 参考スコア（独自算出の注目度）: 80.31766777570058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.
• Abstract（参考訳）: 一貫性モデル(CM)は近年,拡散モデルの生成促進に大きく進展している。 しかし、遅延空間(LCM)における高解像度のテキスト条件画像生成への応用は、未だに不十分である。 本稿では,LCMの現在の設計における3つの重要な欠陥を同定する。 これらの制約の背後にある理由を考察し、設計空間を一般化し、特定されたすべての制限に対処する位相整合モデル(PCM)を提案する。 評価の結果,PCMは1段階から16段階のステップ生成設定でLCMを著しく上回っていることがわかった。 PCMはマルチステップの改良のために特別に設計されているが、従来は最先端の1ステップで設計されていた方法よりも優れた、あるいは同等の1ステップ生成結果が得られる。 さらに,PCMの手法がビデオ生成に適用可能であることを示し,最先端のテキスト・ツー・ビデオ・ジェネレータを訓練することができることを示した。 詳細はhttps://g-u-n.github.io/projects/pcm/で確認できる。

関連論文リスト

• MLCM: Multistep Consistency Distillation of Latent Diffusion Model [19.175166103171986]
  MLCM(Multistep Latent Consistency Models)は、低コストで高品質な画像合成のためのアプローチである。 MLCMは2～8ステップのみのサンプリングで高品質で楽しい画像を生成することができることを示す。 また、制御可能な生成、画像スタイル転送、中国画像生成を含むアプリケーションにおけるMLCMの汎用性を示す。
  論文  参考訳（メタデータ） (2024-06-09T12:55:50Z)
• EdgeFusion: On-Device Text-to-Image Generation [3.3345550849564836]
  我々はテキスト・ツー・イメージ生成のためのコンパクトSD変種BK-SDMを開発した。 我々は、リソース制限エッジデバイス上で1秒未満のレイテンシで、わずか2ステップで、フォトリアリスティックなテキスト整列画像の高速生成を実現する。
  論文  参考訳（メタデータ） (2024-04-18T06:02:54Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• LCM-LoRA: A Universal Stable-Diffusion Acceleration Module [52.8517132452467]
  LCM(Latent Consistency Models)は、テキストから画像への生成タスクの高速化において、優れたパフォーマンスを実現している。 本報告はLRA蒸留を大型の安定拡散モデルに適用することによりLCMの可能性をさらに拡張する。 LCM蒸留により得られたLoRAパラメータを LCM-LoRA という汎用安定拡散加速モジュールとして同定した。
  論文  参考訳（メタデータ） (2023-11-09T18:04:15Z)
• Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference [60.32804641276217]
  本稿では,LCM(Latent Consistency Models)を提案する。 高品質の768 x 768 24-step LCMは、トレーニングに32A100 GPU時間しかかからない。 また,画像データセットの微調整に適した新しいLCM法であるLCF(Latent Consistency Fine-tuning)についても紹介する。
  論文  参考訳（メタデータ） (2023-10-06T17:11:58Z)
• Can SAM Boost Video Super-Resolution? [78.29033914169025]
  単純な有効モジュールであるSAM-guidEd refinEment Module (SEEM)を提案する。 この軽量プラグインモジュールは、セマンティック・アウェア機能の生成にアテンションメカニズムを活用するように設計されている。 我々はSEEMをEDVRとBasicVSRの2つの代表的手法に適用し、最小限の実装労力で継続的に性能を向上する。
  論文  参考訳（メタデータ） (2023-05-11T02:02:53Z)
• Neighbor Correspondence Matching for Flow-based Video Frame Synthesis [90.14161060260012]
  フローベースフレーム合成のための近傍対応マッチング(NCM)アルゴリズムを提案する。 NCMは現在のフレームに依存しない方法で実行され、各ピクセルの時空間近傍でマルチスケールの対応を確立する。 粗いスケールのモジュールは、近隣の対応を利用して大きな動きを捉えるように設計されている。
  論文  参考訳（メタデータ） (2022-07-14T09:17:00Z)
• Cascading Modular Network (CAM-Net) for Multimodal Image Synthesis [7.726465518306907]
  永続的な課題は、同じ入力画像から出力画像の多様なバージョンを生成することである。 我々は,幅広いタスクに適用可能な統一アーキテクチャであるCAM-Netを提案する。 FID(Frechet Inception Distance)は、ベースラインに比べて最大45.3%低減できる。
  論文  参考訳（メタデータ） (2021-06-16T17:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。