論文の概要: E-MD3C: Taming Masked Diffusion Transformers for Efficient Zero-Shot Object Customization

• arxiv url: http://arxiv.org/abs/2502.09164v1
• Date: Thu, 13 Feb 2025 10:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:36.693488
• Title: E-MD3C: Taming Masked Diffusion Transformers for Efficient Zero-Shot Object Customization
• Title（参考訳）: E-MD3C:効率的なゼロショットオブジェクトカスタマイズのためのマスク付き拡散変換器の開発
• Authors: Trung X. Pham, Zhang Kang, Ji Woo Hong, Xuran Zheng, Chang D. Yoo,
• Abstract要約: E-MD3Cは、ゼロショットオブジェクト画像のカスタマイズのための非常に効率的なフレームワークである。 リソース集約型Unetアーキテクチャに依存する以前の作業とは異なり、我々のアプローチでは軽量なマスク付き拡散トランスフォーマーを採用している。 E-MD3Cは、PSNR、FID、SSIM、LPIPSなどのメトリクスでVITON-HDデータセットの既存のアプローチより優れている。
• 参考スコア（独自算出の注目度）: 20.441652320245975
• License:
• Abstract: We propose E-MD3C ($\underline{E}$fficient $\underline{M}$asked $\underline{D}$iffusion Transformer with Disentangled $\underline{C}$onditions and $\underline{C}$ompact $\underline{C}$ollector), a highly efficient framework for zero-shot object image customization. Unlike prior works reliant on resource-intensive Unet architectures, our approach employs lightweight masked diffusion transformers operating on latent patches, offering significantly improved computational efficiency. The framework integrates three core components: (1) an efficient masked diffusion transformer for processing autoencoder latents, (2) a disentangled condition design that ensures compactness while preserving background alignment and fine details, and (3) a learnable Conditions Collector that consolidates multiple inputs into a compact representation for efficient denoising and learning. E-MD3C outperforms the existing approach on the VITON-HD dataset across metrics such as PSNR, FID, SSIM, and LPIPS, demonstrating clear advantages in parameters, memory efficiency, and inference speed. With only $\frac{1}{4}$ of the parameters, our Transformer-based 468M model delivers $2.5\times$ faster inference and uses $\frac{2}{3}$ of the GPU memory compared to an 1720M Unet-based latent diffusion model.
• Abstract（参考訳）: ゼロショットオブジェクトイメージをカスタマイズするための,高効率なフレームワークであるE-MD3C ($\underline{E}$fficient $\underline{M}$asked $\underline{D}$iffusion Transformer with Disentangled $\underline{C}$onditions and $\underline{C}$ompact $\underline{C}$ollectorを提案する。 リソース集約型Unetアーキテクチャに依存する以前の作業とは異なり、我々のアプローチでは、潜時パッチで動作する軽量なマスク付き拡散トランスフォーマーを採用し、計算効率を大幅に改善した。 本フレームワークは,(1) 自動エンコーダ潜入子処理のための効率的なマスク付き拡散変換器,(2) 背景アライメントと細部を保ちながらコンパクト性を確保する不整合条件設計,(3) 複数の入力をコンパクトな表現に集約し,効率的な復調と学習を行う学習可能な条件収集器の3つのコアコンポーネントを統合する。 E-MD3Cは、PSNR、FID、SSIM、LPIPSなどのメトリクスにまたがるVITON-HDデータセットの既存のアプローチよりも優れており、パラメータ、メモリ効率、推論速度の明確な利点を示している。 パラメータの$\frac{1}{4}$だけで、Transformerベースの468Mモデルは2.5\times$より高速な推論を提供し、GPUメモリの$\frac{2}{3}$を使用する。

関連論文リスト

• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Dynamic Diffusion Transformer [67.13876021157887]
  Diffusion Transformer (DiT) は優れた性能を示したが、かなりの計算コストに悩まされている。 本研究では,動的拡散変換器 (DyDiT) を提案する。 3%の微調整により,DiT-XLのFLOPを51%削減し,生成を1.73高速化し,ImageNet上でのFIDスコア2.07を達成する。
  論文  参考訳（メタデータ） (2024-10-04T14:14:28Z)
• Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget [53.311109531586844]
  大規模T2I拡散変圧器モデルの低コスト化を実証する。 我々は16億のパラメータスパーストランスをわずか1890ドルの経済的コストで訓練し、ゼロショット世代で12.7 FIDを達成する。 我々は、マイクロ予算での大規模拡散モデルのトレーニングをさらに民主化するために、エンドツーエンドのトレーニングパイプラインをリリースすることを目指している。
  論文  参考訳（メタデータ） (2024-07-22T17:23:28Z)
• Cross-view Masked Diffusion Transformers for Person Image Synthesis [21.242398582282522]
  ポーズ誘導画像生成のための新しい拡散モデルであるX-MDPTを提案する。 X-MDPTは、潜伏パッチで動作するマスク付き拡散トランスフォーマーを用いて、自分自身を区別する。 我々のモデルはDeepFashionデータセットにおける最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2024-02-02T15:57:13Z)
• Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation [73.31524865643709]
  本稿では,Hourglass Tokenizer (HoT) と呼ばれるプラグアンドプレイのプルーニング・アンド・リカバリフレームワークを提案する。 私たちのHoDTは、冗長なフレームのポーズトークンのプルーニングから始まり、フル長のトークンを復元することで終了します。 提案手法は,従来のVPTモデルと比較して高い効率性と推定精度を両立させることができる。
  論文  参考訳（メタデータ） (2023-11-20T18:59:51Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Fcaformer: Forward Cross Attention in Hybrid Vision Transformer [29.09883780571206]
  ハイブリッド・ビジョン・トランス(FcaFormer)のための前方クロスアテンションを提案する。 私たちのFcaFormerは1630万のパラメータと約36億のMACでImagenetの83.1%のトップ-1の精度を実現しています。 これにより、ほぼ半分のパラメータといくつかの計算コストを節約し、蒸留されたEfficientFormerよりも0.7%高い精度を達成できる。
  論文  参考訳（メタデータ） (2022-11-14T08:43:44Z)
• EcoFormer: Energy-Saving Attention with Linear Complexity [40.002608785252164]
  Transformerはシーケンシャルデータをモデル化する変換フレームワークである。 本研究では,高次元ソフトマックスアテンションにカスタマイズした新しいバイナライゼーションパラダイムを提案する。 EcoFormerは、標準の注意を払って、一貫して同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-09-19T13:28:32Z)
• MVSTER: Epipolar Transformer for Efficient Multi-View Stereo [26.640495084316925]
  学習ベースMulti-View Stereo法では,ソース画像を3Dボリュームにワープする。 従来の手法では、余分なネットワークを利用して2次元情報を融合キューとして学習し、3次元空間相関を利用して計算コストを増大させる。 本稿では,2次元のセマンティクスと3次元の空間的関連性の両方を効率的に学習するために,提案したエピポーラ変換器を利用するMVSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-15T06:47:57Z)
• AFTer-UNet: Axial Fusion Transformer UNet for Medical Image Segmentation [19.53151547706724]
  トランスをベースとしたモデルは、医療画像セグメンテーションにおけるこれらの手法の探求に注目されている。 本稿では、畳み込み層の長周期モデリングにおける詳細特徴抽出能力と変圧器強度の両面を活かしたAxial Fusion Transformer UNet(AFTer-UNet)を提案する。 パラメータが少なく、GPUメモリのトレーニングも従来のトランスフォーマーベースのモデルよりも少ない。
  論文  参考訳（メタデータ） (2021-10-20T06:47:28Z)
• Oriented Object Detection with Transformer [51.634913687632604]
  我々は,エンドツーエンドネットワークに基づくTRansformer(bf O2DETR$)によるオブジェクト指向オブジェクト検出を実装した。 注意機構を奥行き分離可能な畳み込みに置き換えることで,トランスフォーマーの簡易かつ高効率なエンコーダを設計する。 私たちの$rm O2DETR$は、オブジェクト指向オブジェクト検出の分野における別の新しいベンチマークになり、より高速なR-CNNとRetinaNetに対して最大3.85mAPの改善が達成されます。
  論文  参考訳（メタデータ） (2021-06-06T14:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。