Fugu-MT 論文翻訳(概要): Importance-Aware Low-Rank Distillation of Diffusion Transformers

論文の概要: Importance-Aware Low-Rank Distillation of Diffusion Transformers

arxiv url: http://arxiv.org/abs/2609.04646v1
Date: Fri, 04 Sep 2026 02:25:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-07 18:15:23.879207
Title: Importance-Aware Low-Rank Distillation of Diffusion Transformers
Title（参考訳）: 拡散変圧器の低ランク蒸留の重要性
Abstract要約: Diffusion Transformer (DiT) は高品質なテキスト・画像生成のための主要なアーキテクチャとして登場した。本稿では,2段階ブロックレベルの圧縮方式であるSVDtruncを紹介する。 SVDtruncは,大域的圧縮でもスムーズな劣化を生じさせることがわかった。
参考スコア（独自算出の注目度）: 15.737230365885907
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Diffusion Transformers (DiTs) have emerged as a dominant architecture for high-quality text-to-image generation, yet their scale poses challenges for efficient deployment. While truncated singular value decomposition (SVD) is a principled tool for parameter reduction, evidence from large language models (LLMs) suggests that naive low-rank approximation can cause catastrophic failure. In contrast, we find that truncated SVD in DiTs produces smooth degradation even under substantial global compression, with redundancy distributed across projection matrices throughout the whole network rather than concentrated in a few transformer blocks. Building on these insights, we introduce SVDtrunc, a two-step block-level compression scheme, first allocating ranks across blocks and compressing the least important ones via truncated SVD under a global parameter budget, and then fine-tuning all blocks with modular knowledge distillation and a rectified-flow objective. We apply SVDtrunc to FLUX.dev across compression levels ranging from 40-90% of the original parameter count. Across three benchmarks, GenEval, HPSv2, and DPG, we outperform all competing approaches. Notably, and in contrast to prior work, we retain near-full performance at 68% and remain competitive even at 57% of the original parameter budget. Furthermore, we show that SVDtrunc complements step distillation and achieves strong results even without fine-tuning, positioning it as a practical continuation of efficiency improvements beyond diffusion step reduction for large-scale generative models. Project page: https://vislearn.github.io/SVDtrunc/
Abstract（参考訳）: Diffusion Transformer (DiTs) は高品質なテキスト・画像生成のための支配的なアーキテクチャとして登場したが、そのスケールは効率的なデプロイのための課題となっている。乱れた特異値分解(SVD)はパラメータ還元の原理的なツールであるが、大きな言語モデル(LLM)からの証拠は、単純な低ランク近似が破滅的な失敗を引き起こすことを示唆している。対照的に、DiTsにおけるトラッピングSVDは、少数の変圧器ブロックに集中するのではなく、ネットワーク全体にわたってプロジェクション行列に分散した冗長性により、大域的圧縮の下でもスムーズな劣化を生じさせる。これらの知見に基づいて,2段階のブロックレベルの圧縮スキームであるSVDtruncを導入し,まずブロックにランクを割り当て,大域的パラメータ予算の下でトランケートされたSVDによって最重要度を圧縮した上で,モジュール型知識蒸留と整流目標を用いて全ブロックを微調整する。 SVDtruncをFLUX.devに圧縮レベルに適用し、元のパラメータの40～90%を圧縮する。 GenEval, HPSv2, DPGの3つのベンチマークで、競合するアプローチをすべて上回っている。特に、以前の作業とは対照的に、ほぼ完全なパフォーマンスを68%で維持し、元のパラメータ予算の57%でも競争力を維持します。さらに, SVDtrunc は段階蒸留を補完し, 微調整もせず, 大規模生成モデルに対する拡散段減量以上の効率改善の実践的継続と位置づけた。プロジェクトページ: https://vislearn.github.io/SVDtrunc/

関連論文リスト

LACE-SVD: Loss-Aware SVD with Cumulative Error Correction for LLM Compression [4.953709812007795]
LLM圧縮に累積誤差補正を施したLos-Aware SVDフレームワークであるLACE-SVDを提案する。 LACE-SVDはまず、候補層ワイド圧縮比によって誘導されるキャリブレーション負-log-like-hood増加を推定する。その後、圧縮されたモデルをクローズドフォームのローカル更新で洗練し、残ストリーム出力モジュールに対する伝搬認識補正を導入する。
論文参考訳（メタデータ） (2026-07-03T07:46:13Z)
AA-SVD : Anchored and Adaptive SVD for Large Language Model Compression [19.41870881350408]
本稿では,大規模な言語モデルを再学習せずに圧縮するための高速な低ランク分解に基づくフレームワークを提案する。ブロックレベルの出力歪みを最小限に抑え、各トランスブロックをエンドツーエンドに洗練する。提案手法は圧縮比で既存のSVDベースラインを上回っている。
論文参考訳（メタデータ） (2026-04-02T14:55:49Z)
FlattenGPT: Depth Compression for Transformer with Layer Flattening [89.7587433008809]
textbfFlattenGPTは、深さ方向の冗長性を検出し、減少させる新しい方法である。実験によると、FlattenGPTはモデル効率を十分なトレードオフで向上させる。
論文参考訳（メタデータ） (2026-02-09T16:22:58Z)
Low-Rank Prehab: Preparing Neural Networks for SVD Compression [12.618746274492421]
プレハビテーションを契機に,プレ圧縮微調整ステージであるLow-Rank Prehabを導入する。圧縮後,Prehabは即時精度低下を著しく低減し,ファインタニング後の性能を継続的に改善することを示す。本手法は,SVD-LLMのような最先端のSVD技術より優れている。
論文参考訳（メタデータ） (2025-12-01T18:37:53Z)
Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文参考訳（メタデータ） (2025-09-25T15:17:11Z)
CALR: Corrective Adaptive Low-Rank Decomposition for Efficient Large Language Model Layer Compression [0.0]
大規模言語モデル(LLM)は、その膨大なサイズと計算要求のために、重大なデプロイメント上の課題を提示する。本稿では,2成分圧縮手法である補正適応低ランク分解(CALR)を導入する。 CALR はパラメータ数を 26.93% から 51.77% に削減でき、元のモデルの性能の59.45% から 90.42% に維持できることを示した。
論文参考訳（メタデータ） (2025-08-21T13:16:02Z)
FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models [15.244129138320782]
FlashSVDは、SVD圧縮された大規模言語モデルのためのエンドツーエンドのランクアウェアストリーミング推論フレームワークである。ピークアクティベーションメモリを最大70.2%削減し、中間のトランジェントメモリを75%削減する。アップストリームエンコード圧縮法では精度の低下は生じず、低ランクLLMのメモリ制約による展開への実践的な経路を提供する。
論文参考訳（メタデータ） (2025-08-02T22:06:46Z)
AdaSVD: Adaptive Singular Value Decomposition for Large Language Models [75.1196637934987]
Singular Value Decomposition (SVD) は,大規模言語モデル(LLM)の有望な圧縮手法として登場した。既存のSVDベースの手法は、SVDトランケーションによって引き起こされるエラーを効果的に軽減するために苦労することが多い。適応SVDに基づくLLM圧縮手法であるAdaSVDを提案する。
論文参考訳（メタデータ） (2025-02-03T14:34:37Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
TinyFusion: Diffusion Transformers Learned Shallow [52.96232442322824]
拡散変換器は画像生成において顕著な機能を示すが、しばしば過度なパラメータ化を伴う。本稿では,拡散変圧器の冗長層をエンド・ツー・エンド・ラーニングにより除去する深度切削法TinyFusionを提案する。 DiT-XLの実験では、TinyFusionはトレーニング前のコストの7%以下で浅い拡散変圧器を製造でき、FIDスコアが2.86で2$times$のスピードアップを達成した。
論文参考訳（メタデータ） (2024-12-02T07:05:39Z)
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文参考訳（メタデータ） (2024-02-02T21:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。