論文の概要: One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2505.21960v1
• Date: Wed, 28 May 2025 04:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.412393
• Title: One-Way Ticket:Time-Independent Unified Encoder for Distilling Text-to-Image Diffusion Models
• Title（参考訳）: One-Way Ticket:テキストと画像の拡散モデルを蒸留するための時間非依存統一エンコーダ
• Authors: Senmao Li, Lei Wang, Kai Wang, Tao Liu, Jiehang Xie, Joost van de Weijer, Fahad Shahbaz Khan, Shiqi Yang, Yaxing Wang, Jian Yang,
• Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルは、推論速度と画質のトレードオフに直面している。 学生モデルUNetアーキテクチャのための最初の時間非依存の統一TiUEを紹介する。 ワンパススキームを使用して、TiUEは複数のデコーダタイムステップにまたがるエンコーダ機能を共有し、並列サンプリングを可能にする。
• 参考スコア（独自算出の注目度）: 65.96186414865747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Image (T2I) diffusion models have made remarkable advancements in generative modeling; however, they face a trade-off between inference speed and image quality, posing challenges for efficient deployment. Existing distilled T2I models can generate high-fidelity images with fewer sampling steps, but often struggle with diversity and quality, especially in one-step models. From our analysis, we observe redundant computations in the UNet encoders. Our findings suggest that, for T2I diffusion models, decoders are more adept at capturing richer and more explicit semantic information, while encoders can be effectively shared across decoders from diverse time steps. Based on these observations, we introduce the first Time-independent Unified Encoder TiUE for the student model UNet architecture, which is a loop-free image generation approach for distilling T2I diffusion models. Using a one-pass scheme, TiUE shares encoder features across multiple decoder time steps, enabling parallel sampling and significantly reducing inference time complexity. In addition, we incorporate a KL divergence term to regularize noise prediction, which enhances the perceptual realism and diversity of the generated images. Experimental results demonstrate that TiUE outperforms state-of-the-art methods, including LCM, SD-Turbo, and SwiftBrushv2, producing more diverse and realistic results while maintaining the computational efficiency.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは、生成モデリングにおいて顕著な進歩を遂げているが、推論速度と画像品質のトレードオフに直面しており、効率的なデプロイメントの課題となっている。 既存の蒸留されたT2Iモデルは、サンプリングステップが少なくて高忠実な画像を生成することができるが、多様性と品質に苦しむことが多い。 解析から,UNetエンコーダの冗長計算を観察する。 以上の結果から,T2I拡散モデルでは,デコーダはよりリッチで明示的なセマンティック情報を取得するのに適しており,エンコーダは多種多様な時間ステップからデコーダ間で効果的に共有できることが示唆された。 これらの観測に基づいて,T2I拡散モデルを蒸留するループフリー画像生成手法である,学生モデルUNetアーキテクチャのための初めての時間非依存統一エンコーダTiUEを紹介する。 ワンパススキームを使用することで、TiUEは複数のデコーダタイムステップにまたがるエンコーダ機能を共有し、並列サンプリングを可能にし、推論時間の複雑さを著しく低減する。 さらに、雑音予測を正規化するためにKL発散項を組み込み、生成した画像の知覚的リアリズムと多様性を高める。 実験の結果、TiUEはLCM、SD-Turbo、SwiftBrushv2といった最先端の手法よりも優れており、計算効率を維持しながらより多彩で現実的な結果が得られることがわかった。

関連論文リスト

• Stateful Conformer with Cache-based Inference for Streaming Automatic Speech Recognition [20.052245837954175]
  本稿では,FastConformerアーキテクチャに基づく,効率的かつ正確な音声認識モデルを提案する。 我々は,非自己回帰エンコーダが推論中に自己回帰的に動作できるようにするために,アクティベーションキャッシング機構を導入する。 CTCとRNNTデコーダを共用した共有エンコーダを用いたハイブリッドCTC/RNNTアーキテクチャにより、精度の向上と計算の保存が可能となる。
  論文  参考訳（メタデータ） (2023-12-27T21:04:26Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• DiffiT: Diffusion Vision Transformers for Image Generation [88.08529836125399]
  ViT(Vision Transformer)は、特に認識タスクにおいて、強力なモデリング機能とスケーラビリティを実証している。 拡散型生成学習におけるViTの有効性について検討し、拡散ビジョン変換器(DiffiT)と呼ばれる新しいモデルを提案する。 DiffiTはパラメータ効率が大幅に向上した高忠実度画像を生成するのに驚くほど効果的である。
  論文  参考訳（メタデータ） (2023-12-04T18:57:01Z)
• SnapFusion: Text-to-Image Diffusion Model on Mobile Devices within Two Seconds [88.06788636008051]
  テキストから画像への拡散モデルは、プロのアーティストや写真家の作品に匹敵する自然言語の記述から素晴らしい画像を作り出すことができる。 これらのモデルは大規模で、複雑なネットワークアーキテクチャと数十のデノベーションイテレーションを持ち、計算コストが高く、実行が遅い。 モバイル端末上でテキストから画像への拡散モデルの実行を2ドル以下でアンロックする汎用的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:59:25Z)
• Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
  本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。 プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
  論文  参考訳（メタデータ） (2021-12-16T09:21:18Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。