論文の概要: Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2412.16822v1
• Date: Sun, 22 Dec 2024 02:04:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:34.878001
• Title: Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers
• Title（参考訳）: 効率的な拡散変圧器の層・時相適応型微分利得圧縮比
• Authors: Haoran You, Connelly Barnes, Yuqian Zhou, Yan Kang, Zhenbang Du, Wei Zhou, Lingzhi Zhang, Yotam Nitzan, Xiaoyang Liu, Zhe Lin, Eli Shechtman, Sohrab Amirghodsi, Yingyan Celine Lin,
• Abstract要約: Diffusion Transformer (DiTs)は、最先端(SOTA)画像生成の品質を達成したが、レイテンシとメモリ非効率に悩まされている。 圧縮率の異なる動的DiT推論フレームワークであるDiffRatio-MoDを提案する。
• 参考スコア（独自算出の注目度）: 55.87192133758051
• License:
• Abstract: Diffusion Transformers (DiTs) have achieved state-of-the-art (SOTA) image generation quality but suffer from high latency and memory inefficiency, making them difficult to deploy on resource-constrained devices. One key efficiency bottleneck is that existing DiTs apply equal computation across all regions of an image. However, not all image tokens are equally important, and certain localized areas require more computation, such as objects. To address this, we propose DiffRatio-MoD, a dynamic DiT inference framework with differentiable compression ratios, which automatically learns to dynamically route computation across layers and timesteps for each image token, resulting in Mixture-of-Depths (MoD) efficient DiT models. Specifically, DiffRatio-MoD integrates three features: (1) A token-level routing scheme where each DiT layer includes a router that is jointly fine-tuned with model weights to predict token importance scores. In this way, unimportant tokens bypass the entire layer's computation; (2) A layer-wise differentiable ratio mechanism where different DiT layers automatically learn varying compression ratios from a zero initialization, resulting in large compression ratios in redundant layers while others remain less compressed or even uncompressed; (3) A timestep-wise differentiable ratio mechanism where each denoising timestep learns its own compression ratio. The resulting pattern shows higher ratios for noisier timesteps and lower ratios as the image becomes clearer. Extensive experiments on both text-to-image and inpainting tasks show that DiffRatio-MoD effectively captures dynamism across token, layer, and timestep axes, achieving superior trade-offs between generation quality and efficiency compared to prior works.
• Abstract（参考訳）: Diffusion Transformer (DiT)は、最先端(SOTA)画像生成品質を達成したが、レイテンシとメモリ非効率に悩まされており、リソース制約のあるデバイスへのデプロイが困難である。 一つの重要な効率のボトルネックは、既存のDiTが画像のすべての領域で等しく計算を適用することである。 しかし、すべての画像トークンが等しく重要であるわけではなく、特定の局所化領域はオブジェクトのようなより多くの計算を必要とする。 そこで我々はDiffRatio-MoDを提案する。DiffRatio-MoDは異なる圧縮比を持つ動的DiT推論フレームワークで、各画像トークンのレイヤとタイムステップ間で動的に計算をルーティングし、結果としてMixture-of-Depths (MoD) 効率の良いDiTモデルを生成する。 特にDiffRatio-MoDは,(1)各DiT層にモデルの重み付けを施したルータを組み込んだトークンレベルのルーティング方式により,トークンの重要度を推定する。 このように、非重要トークンは、層全体の計算をバイパスする; (2) 異なるDiT層がゼロ初期化から自動的に異なる圧縮比を学習し、余剰層において大きな圧縮比を生じさせる; (3) 時間的に微分可能な比のメカニズムで、それぞれの時間ステップがそれぞれの圧縮比を学習する。 得られたパターンは、画像がより鮮明になるにつれて、よりノイズの多い時間ステップと低い比率を示す。 DiffRatio-MoDはトークン、層、タイムステップの軸をまたいだダイナミズムを効果的に捕捉し、生成品質と効率のトレードオフを従来よりも優れていることを示す。

関連論文リスト

• OminiControl: Minimal and Universal Control for Diffusion Transformer [68.3243031301164]
  OminiControlは、イメージ条件をトレーニング済みのDiffusion Transformer(DiT)モデルに統合するフレームワークである。 コアとなるOminiControlはパラメータ再利用機構を活用しており、強力なバックボーンとしてイメージ条件をエンコードすることができる。 OminiControlは、主観駆動生成や空間的に整合した条件を含む、幅広いイメージコンディショニングタスクを統一的に処理する。
  論文  参考訳（メタデータ） (2024-11-22T17:55:15Z)
• HPC: Hierarchical Progressive Coding Framework for Volumetric Video [39.403294185116]
  ニューラルレージアンスフィールド(NeRF)に基づくボリュームビデオは、様々な3Dアプリケーションに対して大きな可能性を秘めている。 現在のNeRF圧縮は、ビデオ品質を調整できる柔軟性に欠けており、様々なネットワークやデバイス能力のための単一のモデル内である。 単一モデルを用いて可変性を実現する新しい階層型プログレッシブビデオ符号化フレームワークであるHPCを提案する。
  論文  参考訳（メタデータ） (2024-07-12T06:34:24Z)
• Progressive Learning with Visual Prompt Tuning for Variable-Rate Image Compression [60.689646881479064]
  本稿では,変圧器を用いた可変レート画像圧縮のためのプログレッシブラーニングパラダイムを提案する。 視覚的プロンプトチューニングにインスパイアされた私たちは,エンコーダ側とデコーダ側でそれぞれ入力画像と隠蔽特徴のプロンプトを抽出するためにLPMを使用する。 提案モデルでは, 速度歪み特性の観点から現行の可変画像法よりも優れ, スクラッチから訓練した最先端の固定画像圧縮法にアプローチする。
  論文  参考訳（メタデータ） (2023-11-23T08:29:32Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• High-Fidelity Variable-Rate Image Compression via Invertible Activation Transformation [24.379052026260034]
  Invertible Activation Transformation (IAT) モジュールを提案する。 IATとQLevelは、画像圧縮モデルに、画像の忠実さを良く保ちながら、細かな可変レート制御能力を与える。 提案手法は,特に複数再符号化後に,最先端の可変レート画像圧縮法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-09-12T07:14:07Z)
• Variable-Rate Deep Image Compression through Spatially-Adaptive Feature Transform [58.60004238261117]
  空間特徴変換(SFT arXiv:1804.02815)に基づく多目的深部画像圧縮ネットワークを提案する。 本モデルは,任意の画素単位の品質マップによって制御される単一モデルを用いて,幅広い圧縮速度をカバーしている。 提案するフレームワークにより,様々なタスクに対してタスク対応の画像圧縮を行うことができる。
  論文  参考訳（メタデータ） (2021-08-21T17:30:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。