論文の概要: Importance-based Token Merging for Diffusion Models

• arxiv url: http://arxiv.org/abs/2411.16720v1
• Date: Sat, 23 Nov 2024 02:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:35:45.912448
• Title: Importance-based Token Merging for Diffusion Models
• Title（参考訳）: 拡散モデルにおける重要度に基づくトケマージ
• Authors: Haoyu Wu, Jingyi Xu, Hieu Le, Dimitris Samaras,
• Abstract要約: 拡散モデルは高品質の画像とビデオ生成において優れている。 それらを高速化する強力な方法は、より高速な計算のために類似のトークンをマージすることだ。 マージ時に重要なトークンを保存することは,サンプルの品質を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 41.94334394794811
• License:
• Abstract: Diffusion models excel at high-quality image and video generation. However, a major drawback is their high latency. A simple yet powerful way to speed them up is by merging similar tokens for faster computation, though this can result in some quality loss. In this paper, we demonstrate that preserving important tokens during merging significantly improves sample quality. Notably, the importance of each token can be reliably determined using the classifier-free guidance magnitude, as this measure is strongly correlated with the conditioning input and corresponds to output fidelity. Since classifier-free guidance incurs no additional computational cost or requires extra modules, our method can be easily integrated into most diffusion-based frameworks. Experiments show that our approach significantly outperforms the baseline across various applications, including text-to-image synthesis, multi-view image generation, and video generation.
• Abstract（参考訳）: 拡散モデルは高品質の画像とビデオ生成において優れている。 しかし、大きな欠点は、その高いレイテンシである。 それらをスピードアップする単純だが強力な方法は、類似のトークンをマージして高速な計算を行うことだ。 本稿では, マージ時に重要なトークンを保存することで, 試料の品質が著しく向上することが実証された。 特に、この尺度は条件入力と強く相関し、出力忠実度に対応するため、分類器フリー誘導等級を用いて各トークンの重要性を確実に判定することができる。 分類器フリーガイダンスは計算コストの増大や余分なモジュールを必要としないため,ほとんどの拡散型フレームワークに容易に組み込むことができる。 実験により,本手法は,テキスト・ツー・イメージ合成,マルチビュー画像生成,ビデオ生成など,様々なアプリケーションにおいて,ベースラインを著しく上回ることがわかった。

関連論文リスト

• Flowing from Words to Pixels: A Framework for Cross-Modality Evolution [14.57591222028278]
  クロスモーダルフローマッチングのための汎用的でシンプルなフレームワークであるCrossFlowを提案する。 本稿では、入力データに変分法を適用することの重要性を示し、フリーガイダンスを実現する方法を提案する。 また,本手法の一般化可能性を示すため,CrossFlowは多種多様なクロスモーダル/イントラモーダルマッピングタスクの最先端性に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-12-19T18:59:56Z)
• Parallelized Autoregressive Visual Generation [65.9579525736345]
  本稿では,並列化された自己回帰視覚生成のための簡易かつ効果的な手法を提案する。 本手法は,画像生成タスクと映像生成タスクの両方において,最大9.5倍の高速化を実現し,品質劣化を最小限に抑えた3.6倍の高速化を実現する。
  論文  参考訳（メタデータ） (2024-12-19T17:59:54Z)
• Efficient Generative Modeling with Residual Vector Quantization-Based Tokens [5.949779668853557]
  ResGenは、サンプリング速度を損なうことなく高忠実度サンプルを生成する効率的なRVQベースの離散拡散モデルである。 我々は,ImageNet 256x256における条件付き画像生成とゼロショット音声合成の2つの課題に対して,提案手法の有効性と一般化性を検証する。 RVQの深さを拡大するにつれて、我々の生成モデルは、同様の大きさのベースラインモデルと比較して、より優れた生成忠実度またはより高速なサンプリング速度を示す。
  論文  参考訳（メタデータ） (2024-12-13T15:31:17Z)
• Video Token Merging for Long-form Video Understanding [17.59960070514554]
  学習可能なビデオトークンのマージアルゴリズムを提案し,その正当性に基づいて動的にトークンをマージする。 提案手法は,メモリコストを84%削減し,スループットをベースラインアルゴリズムに比べて約6.89倍向上させる。
  論文  参考訳（メタデータ） (2024-10-31T09:55:32Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Enhancing Semantic Fidelity in Text-to-Image Synthesis: Attention Regulation in Diffusion Models [23.786473791344395]
  拡散モデルにおけるクロスアテンション層は、生成プロセス中に特定のトークンに不均等に集中する傾向がある。 本研究では,アテンションマップと入力テキストプロンプトを一致させるために,アテンション・レギュレーション(アテンション・レギュレーション)という,オン・ザ・フライの最適化手法を導入する。 実験結果から,本手法が他のベースラインより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-11T02:18:27Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Token Fusion: Bridging the Gap between Token Pruning and Token Merging [71.84591084401458]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの強力なバックボーンとして登場し、多くの伝統的なCNNを上回っている。 計算オーバーヘッドは、主に自己アテンション機構によるもので、リソース制約のあるエッジデバイスへのデプロイが困難になる。 トークンプルーニングとトークンマージの両方のメリットを両立させる手法であるToken Fusion(ToFu)を紹介する。
  論文  参考訳（メタデータ） (2023-12-02T04:29:19Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。