論文の概要: Delta-SVD: Efficient Compression for Personalized Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2508.16863v1
• Date: Sat, 23 Aug 2025 01:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.223205
• Title: Delta-SVD: Efficient Compression for Personalized Text-to-Image Models
• Title（参考訳）: Delta-SVD:パーソナライズされたテキスト・画像モデルのための効率的な圧縮
• Authors: Tangyuan Zhang, Shangyu Chen, Qixiang Chen, Jianfei Cai,
• Abstract要約: 本研究では,DreamBoothファインチューニングによるパラメータ重み付け更新をターゲットとした,ポストホックなトレーニング不要圧縮手法であるDelta-SVDを提案する。 Delta-SVD は,CLIP スコア,SSIM,FID で測定された生成品質の低下を無視して,かなりの圧縮を実現することを示す。
• 参考スコア（独自算出の注目度）: 25.0585375727713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized text-to-image models such as DreamBooth require fine-tuning large-scale diffusion backbones, resulting in significant storage overhead when maintaining many subject-specific models. We present Delta-SVD, a post-hoc, training-free compression method that targets the parameter weights update induced by DreamBooth fine-tuning. Our key observation is that these delta weights exhibit strong low-rank structure due to the sparse and localized nature of personalization. Delta-SVD first applies Singular Value Decomposition (SVD) to factorize the weight deltas, followed by an energy-based rank truncation strategy to balance compression efficiency and reconstruction fidelity. The resulting compressed models are fully plug-and-play and can be re-constructed on-the-fly during inference. Notably, the proposed approach is simple, efficient, and preserves the original model architecture. Experiments on a multiple subject dataset demonstrate that Delta-SVD achieves substantial compression with negligible loss in generation quality measured by CLIP score, SSIM and FID. Our method enables scalable and efficient deployment of personalized diffusion models, making it a practical solution for real-world applications that require storing and deploying large-scale subject customizations.
• Abstract（参考訳）: DreamBoothのようなパーソナライズされたテキスト・ツー・イメージモデルでは、大規模な拡散バックボーンを微調整する必要がある。 本研究では,DreamBoothファインチューニングによるパラメータ重み付け更新をターゲットとした,ポストホックなトレーニング不要圧縮手法であるDelta-SVDを提案する。 我々の重要な観察は、これらのデルタウェイトは、パーソナライゼーションのスパースで局所的な性質のため、強い低ランク構造を示すことである。 デルタ-SVD はまず Singular Value Decomposition (SVD) を用いて重みデルタを分解し、続いて圧縮効率と復元フィリティのバランスをとるためのエネルギーベースのランクトランケーション戦略を導いた。 圧縮されたモデルは完全なプラグアンドプレイであり、推論中にオンザフライで再構成することができる。 特に、提案されたアプローチは単純で効率的であり、オリジナルのモデルアーキテクチャを保存する。 複数の被験者を対象とした実験により、Delta-SVDはCLIPスコア、SSIM、FIDによって測定された生成品質の無視可能な損失でかなりの圧縮を達成することが示された。 提案手法は,パーソナライズされた拡散モデルのスケーラブルかつ効率的な展開を可能にする。

関連論文リスト

• Breaking the Compression Ceiling: Data-Free Pipeline for Ultra-Efficient Delta Compression [53.08742231761896]
  UltraDeltaはデータフリーのデルタ圧縮パイプラインで、超高圧縮と強力なパフォーマンスを実現する。 UltraDeltaは、冗長性を最小化し、情報を最大化し、層間、層内、大域的な寸法で性能を安定させるように設計されている。
  論文  参考訳（メタデータ） (2025-05-19T10:37:22Z)
• Dynamic Base model Shift for Delta Compression [53.505380509713575]
  デルタ圧縮はデルタパラメータの冗長性を減少させることでコスト削減を試みる。 既存のメソッドはデフォルトでベースモデルとして事前訓練されたモデルを使用し、各タスクのデルタパラメータを圧縮する。 デルタ圧縮を行う前にベースモデルを対象タスクに動的に適応させる動的ベースモデルシフト(DBMS)を提案する。
  論文  参考訳（メタデータ） (2025-05-16T15:11:19Z)
• ImPart: Importance-Aware Delta-Sparsification for Improved Model Compression and Merging in LLMs [9.435738597849447]
  ImPartは、新しく重要なデルタスペーサー化アプローチである。 異なる特異ベクトルの空間比をその重要性に基づいて調整する。
  論文  参考訳（メタデータ） (2025-04-17T16:39:36Z)
• Seeing Delta Parameters as JPEG Images: Data-Free Delta Compression with Discrete Cosine Transform [51.29604910007176]
  従来のJPEG画像圧縮にインスパイアされた最初のデータフリーデルタ圧縮手法であるDelta-DCTを導入し、離散コサイン変換(DCT)を利用する。 提案したデルタ-DCTはトレーニングやデータキャリブレーションを一切必要とせず、1ビット相当のデルタ圧縮比で元の微調整モデルに匹敵する性能を達成し、(1)最近7Bから13Bに異なるサイズのLSMを新たにリリースし、(2)RoBERTaやT5モデルを含む比較的小さな言語モデル、(3)視覚トランスフォーマーモデル、(4)マルチモーダルBEiT-3モデルなど様々なモデルで達成した。
  論文  参考訳（メタデータ） (2025-03-09T16:03:48Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• OSOA: One-Shot Online Adaptation of Deep Generative Models for Lossless Compression [49.10945855716001]
  本稿では,事前学習した深部生成モデルから始まり,そのモデルに動的システムを適用してデータバッチを圧縮する手法を提案する。 実験結果から、バニラOSOAは、トレーニング対象のモデルとスペースに対して、すべてのターゲットに対して1つのモデルを使用することに対して、かなりの時間を節約できることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。