論文の概要: Zero-Shot Adaptation of Parameter-Efficient Fine-Tuning in Diffusion Models
- arxiv url: http://arxiv.org/abs/2506.04244v1
- Date: Thu, 29 May 2025 20:37:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.291295
- Title: Zero-Shot Adaptation of Parameter-Efficient Fine-Tuning in Diffusion Models
- Title（参考訳）: 拡散モデルにおけるパラメータ効率の良い微調整のゼロショット適応
- Authors: Farzad Farhadzadeh, Debasmit Das, Shubhankar Borse, Fatih Porikli,
- Abstract要約: テキストと画像の拡散モデルにおいてパラメータ効率の良い微調整をゼロショットで適用できるProLoRAを導入する。
ProLoRAは、トレーニングデータを追加せずに、ソースからターゲットモデルに事前訓練された低ランク調整を転送する。
- 参考スコア（独自算出の注目度）: 48.22550575107633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce ProLoRA, enabling zero-shot adaptation of parameter-efficient fine-tuning in text-to-image diffusion models. ProLoRA transfers pre-trained low-rank adjustments (e.g., LoRA) from a source to a target model without additional training data. This overcomes the limitations of traditional methods that require retraining when switching base models, often challenging due to data constraints. ProLoRA achieves this via projection of source adjustments into the target model's weight space, leveraging subspace and null space similarities and selectively targeting aligned layers. Evaluations on established text-to-image models demonstrate successful knowledge transfer and comparable performance without retraining.
- Abstract（参考訳）: テキストと画像の拡散モデルにおけるパラメータ効率の微調整をゼロショットで適用できるProLoRAを提案する。
ProLoRAは、事前訓練された低ランク調整(例えばLoRA)を、追加のトレーニングデータなしでソースからターゲットモデルに転送する。
これは、ベースモデルを切り替える際に再トレーニングを必要とする従来のメソッドの制限を克服する。
ProLoRAは、ターゲットモデルの重み空間へのソース調整の投影を通じてこれを達成し、部分空間とヌル空間の類似性を活用し、整列層を選択的にターゲットする。
確立されたテキスト・ツー・イメージモデルの評価は、知識伝達の成功と、再訓練なしに同等のパフォーマンスを示す。
関連論文リスト
- LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。
本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
論文 参考訳（メタデータ） (2025-01-27T23:02:24Z) - LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization [0.0]
Low-Rank Adaptation (LoRA) や他のパラメータ効率のよい微細チューニング (PEFT) 手法は、テキスト・ツー・イメージ・モデルをパーソナライズするための低メモリ、ストレージ効率のソリューションを提供する。
ハイパーネットワークモデルをトレーニングしてLoRA重みを生成することで、特定のドメインに対する競合品質を実現することができることを示す。
論文 参考訳（メタデータ） (2024-12-03T10:17:15Z) - Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。
LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。
本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
論文 参考訳（メタデータ） (2024-10-05T15:52:47Z) - AutoLoRA: AutoGuidance Meets Low-Rank Adaptation for Diffusion Models [0.9514837871243403]
低ランク適応(LoRA)は条件付き生成拡散モデルに適用できる微調整技術である。
本稿では,LoRAアプローチを微調整した拡散モデルのための新しいガイダンス手法であるAutoLoRAを紹介する。
論文 参考訳（メタデータ） (2024-10-04T21:57:11Z) - SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。
本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。
本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文 参考訳（メタデータ） (2024-09-10T16:44:47Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。