論文の概要: Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models

• arxiv url: http://arxiv.org/abs/2610.10550v1
• Date: Thu, 24 Sep 2026 16:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 16:33:44.550467
• Title: Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models
• Title（参考訳）: Diffu-LoRA:パーソナライズされた拡散モデルのための新しい低ランク適応
• Abstract要約: フルモデルファインチューニングはパラメータ集約的であるが、ローランク適応(LoRA)はトレーニング可能なパラメータの数を減少させる。 パラメータ効率の良いゲート法であるDiffu-LoRAを導入し、低ランク適応によりこのアロケーションを学習する。
• 参考スコア（独自算出の注目度）: 3.060720241524644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalizing text-to-image diffusion models from a few reference images requires preserving subject identity while following prompts that describe new contexts. Full-model fine-tuning is parameter-intensive, whereas low-rank adaptation (LoRA) reduces the number of trainable parameters but leaves open how adaptation capacity should be distributed across layers. We introduce Diffu-LoRA, a parameter-efficient method that learns this allocation through gated low-rank adaptation. Diffu-LoRA inserts trainable low-rank components into the linear layers of Transformer blocks and assigns a learnable gate to each component. Bilevel optimization updates the adaptation weights and gate parameters on separate data splits, while progressive pruning removes components with the lowest gate values to meet a prescribed rank budget. This procedure allocates adaptation capacity nonuniformly across layers while keeping the pretrained backbone frozen. Experiments with Stable Diffusion on subjects from DreamBooth and additional collected datasets show improved overall subject fidelity and prompt alignment relative to the evaluated fine-tuning baselines. Ablation studies examine the contributions of bilevel optimization, progressive pruning, and adapter placement. These results support learned rank allocation as a practical approach to parameter-efficient diffusion model personalization.
• Abstract（参考訳）: いくつかの参照画像からテキストから画像への拡散モデルをパーソナライズするには、新しいコンテキストを記述するプロンプトに従って主題のアイデンティティを保存する必要がある。 フルモデルファインチューニングはパラメータ集約的であるのに対して、ローランク適応(LoRA)はトレーニング可能なパラメータの数を減らすが、適応能力は層間で分散されるべきである。 ゲートローランク適応を用いてパラメータ効率を学習するDiffu-LoRAを提案する。 Diffu-LoRAはトレーニング可能な低ランクコンポーネントをTransformerブロックの線形層に挿入し、各コンポーネントに学習可能なゲートを割り当てる。 バイレベル最適化は、異なるデータ分割に対する適応重みとゲートパラメータを更新する一方、プログレッシブプルーニングは、所定のランク予算を満たすために、最も低いゲート値を持つコンポーネントを除去する。 この手順は、事前訓練されたバックボーンを凍結させながら、層全体に不均一に適応容量を割り当てる。 DreamBoothの被験者に対する安定拡散実験と追加収集されたデータセットにより、評価された微調整ベースラインに対する全体の忠実度と迅速なアライメントが改善された。 アブレーション研究は、バイレベル最適化、プログレッシブプルーニング、アダプタ配置の貢献について検討する。 これらの結果は、パラメータ効率の拡散モデルパーソナライズに対する実践的なアプローチとして、学習階級割り当てを支援する。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Low-Rank Adaptation Secretly Imitates Differentially Private SGD [5.359060261460183]
  理論的には、低ランク適応はノイズの多いバッチ勾配を持つ微調整アダプタと等価である。 また、入射雑音の分散を適応ランクの減少関数として定量化する。 低ランク適応は、微調整データに対して、メンバシップ推論攻撃に対して堅牢性を提供する。
  論文  参考訳（メタデータ） (2024-09-26T04:56:49Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。