論文の概要: LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization

• arxiv url: http://arxiv.org/abs/2412.02352v1
• Date: Tue, 03 Dec 2024 10:17:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:17.272386
• Title: LoRA Diffusion: Zero-Shot LoRA Synthesis for Diffusion Model Personalization
• Title（参考訳）: LoRA拡散: 拡散モデルパーソナライズのためのゼロショットLORA合成
• Authors: Ethan Smith, Rami Seid, Alberto Hojel, Paramita Mishra, Jianbo Wu,
• Abstract要約: Low-Rank Adaptation (LoRA) や他のパラメータ効率のよい微細チューニング (PEFT) 手法は、テキスト・ツー・イメージ・モデルをパーソナライズするための低メモリ、ストレージ効率のソリューションを提供する。 ハイパーネットワークモデルをトレーニングしてLoRA重みを生成することで、特定のドメインに対する競合品質を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Low-Rank Adaptation (LoRA) and other parameter-efficient fine-tuning (PEFT) methods provide low-memory, storage-efficient solutions for personalizing text-to-image models. However, these methods offer little to no improvement in wall-clock training time or the number of steps needed for convergence compared to full model fine-tuning. While PEFT methods assume that shifts in generated distributions (from base to fine-tuned models) can be effectively modeled through weight changes in a low-rank subspace, they fail to leverage knowledge of common use cases, which typically focus on capturing specific styles or identities. Observing that desired outputs often comprise only a small subset of the possible domain covered by LoRA training, we propose reducing the search space by incorporating a prior over regions of interest. We demonstrate that training a hypernetwork model to generate LoRA weights can achieve competitive quality for specific domains while enabling near-instantaneous conditioning on user input, in contrast to traditional training methods that require thousands of steps.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) や他のパラメータ効率のよい微細チューニング (PEFT) 手法は、テキスト・ツー・イメージ・モデルをパーソナライズするための低メモリ、ストレージ効率のソリューションを提供する。 しかし、これらの手法は、フルモデル微調整と比較して、ウォールタイムトレーニング時間や収束に必要なステップ数の改善をほとんど、あるいは全く提供しない。 PEFT法は、生成された分布(ベースから微調整されたモデル)のシフトは、低ランクな部分空間の重み変化によって効果的にモデル化できると仮定するが、一般的に特定のスタイルやアイデンティティを捉えることに焦点を当てた一般的なユースケースの知識を活用できない。 所望の出力がLoRAトレーニングによってカバーされる可能性のある領域の小さなサブセットのみから構成されることがよく見受けられるので,関心領域に先行する領域を組み込むことで探索空間を削減することを提案する。 我々は,LoRA重み生成のためのハイパーネットワークモデルのトレーニングが,数千ステップを要する従来のトレーニング手法とは対照的に,ユーザ入力のほぼ即時条件付けを実現しつつ,特定のドメインの競争品質を実現することを実証した。

関連論文リスト

• LoRA-X: Bridging Foundation Models with Training-Free Cross-Model Adaptation [48.22550575107633]
  新しいアダプタであるCross-Model Low-Rank Adaptation (LoRA-X)は、ソースモデルとターゲットモデル間のLoRAパラメータのトレーニング不要転送を可能にする。 本実験は,テキスト・ツー・イメージ生成におけるLoRA-Xの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-27T23:02:24Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
  低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。 本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
  論文  参考訳（メタデータ） (2024-10-05T15:52:47Z)
• AutoLoRA: AutoGuidance Meets Low-Rank Adaptation for Diffusion Models [0.9514837871243403]
  低ランク適応(LoRA)は条件付き生成拡散モデルに適用できる微調整技術である。 本稿では,LoRAアプローチを微調整した拡散モデルのための新しいガイダンス手法であるAutoLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T21:57:11Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
  DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。 これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。 本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-13T09:00:35Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。