論文の概要: ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
- arxiv url: http://arxiv.org/abs/2311.13600v1
- Date: Wed, 22 Nov 2023 18:59:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 14:03:10.518548
- Title: ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
- Title(参考訳): ZipLoRA:LoRAを効果的にマージするあらゆるスタイルの課題
- Authors: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana
Lazebnik, Yuanzhen Li, Varun Jampani
- Abstract要約: 低ランク適応(LoRA)は概念駆動型パーソナライゼーションを実現するためのパラメータ効率のよい方法として提案されている。
我々は、独立に訓練されたスタイルと主題のLoRAを安価かつ効果的にマージするZipLoRAを提案する。
実験により、ZipLoRAは主観とスタイルの忠実さのベースラインよりも有意義な改善を施した魅力的な結果が得られることが示された。
- 参考スコア(独自算出の注目度): 56.85106417530364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Methods for finetuning generative models for concept-driven personalization
generally achieve strong results for subject-driven or style-driven generation.
Recently, low-rank adaptations (LoRA) have been proposed as a
parameter-efficient way of achieving concept-driven personalization. While
recent work explores the combination of separate LoRAs to achieve joint
generation of learned styles and subjects, existing techniques do not reliably
address the problem; they often compromise either subject fidelity or style
fidelity. We propose ZipLoRA, a method to cheaply and effectively merge
independently trained style and subject LoRAs in order to achieve generation of
any user-provided subject in any user-provided style. Experiments on a wide
range of subject and style combinations show that ZipLoRA can generate
compelling results with meaningful improvements over baselines in subject and
style fidelity while preserving the ability to recontextualize. Project page:
https://ziplora.github.io
- Abstract(参考訳): 概念駆動パーソナライゼーションのための生成モデルの微調整方法は、一般的に主題駆動またはスタイル駆動生成において強い結果を得る。
近年,概念駆動型パーソナライゼーションを実現する手段として,ローランク適応(LoRA)が提案されている。
最近の研究は、学習スタイルと主題の合同生成を実現するために別々のLoRAの組み合わせを探求しているが、既存のテクニックは問題に確実に対処しない。
ZipLoRAは、ユーザが提供する任意のオブジェクトをユーザが提供するスタイルで生成するために、独立して訓練されたスタイルと主題のLoRAを安価かつ効果的にマージする手法である。
幅広い主題とスタイルの組み合わせの実験により、ZipLoRAは、テキスト化の能力を保ちながら、主題のベースラインやスタイルの忠実さよりも有意義な改善を施した説得力のある結果が得られることが示された。
プロジェクトページ: https://ziplora.github.io
関連論文リスト
- Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳(メタデータ) (2024-04-21T11:59:53Z) - CLoRA: A Contrastive Approach to Compose Multiple LoRA Models [44.037664077117945]
Low-Rank Adaptations (LoRA) は画像生成の分野で強力で一般的な技術として登場した。
CLoRAは、複数の概念をシームレスにブレンドして、さまざまな概念を1つのイメージでキャプチャする問題に対処する。
本手法は,LoRAの特性を反映した合成画像の作成を可能にする。
論文 参考訳(メタデータ) (2024-03-28T18:58:43Z) - Implicit Style-Content Separation using B-LoRA [61.664293840163865]
一つの画像のスタイルとコンテンツコンポーネントを暗黙的に分離する手法であるB-LoRAを紹介する。
SDXLのアーキテクチャをLoRAと組み合わせて解析することにより、2つのブロックのLoRA重みを共同で学習することで、スタイル・コンテント分離を実現する。
論文 参考訳(メタデータ) (2024-03-21T17:20:21Z) - LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。
既存のアプローチでは、複数のLoRAのローランド適応(LoRA)融合行列をトレーニングして、さまざまな概念を単一のイメージにマージすることが多い。
LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
論文 参考訳(メタデータ) (2024-03-18T09:58:52Z) - Block-wise LoRA: Revisiting Fine-grained LoRA for Effective
Personalization and Stylization in Text-to-Image Generation [2.2356314962198836]
テキスト・ツー・イメージにおけるパーソナライズとスタイリゼーションの目的は,ユーザによって導入された新しい概念を分析し,それらを期待されるスタイルに組み込むために,事前学習した拡散モデルに指示することである。
SDの異なるブロックに対してきめ細かな微調整を行うブロックワイド低ランク適応(LoRA)を提案する。
論文 参考訳(メタデータ) (2024-03-12T10:38:03Z) - Personalized LoRA for Human-Centered Text Understanding [15.704545145736676]
HCTUタスクのためのプラグイン・アンド・プレイ・フレームワークを備えたパーソナライズされたLoRA(PLoRA)を紹介する。
PLORAは、PLMに効果的で、パラメータ効率が高く、動的にデプロイする。
4つのベンチマークデータセットを用いて行った実験により,提案手法は実時間/実時間/ゼロショットの学習シナリオにおいて,既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-03-10T13:04:54Z) - ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。
提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。
NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2024-02-28T04:33:20Z) - StyleAdapter: A Single-Pass LoRA-Free Model for Stylized Image
Generation [97.24936247688824]
本稿では,テキストプロンプトとスタイル参照画像を入力として取り込む,スタイル付画像生成のためのLoRAフリーな手法を提案する。
StyleAdapterは、プロンプトの内容にマッチする高品質な画像を生成し、単一のパスで参照のスタイルを採用することができる。
論文 参考訳(メタデータ) (2023-09-04T19:16:46Z) - Style Interleaved Learning for Generalizable Person Re-identification [69.03539634477637]
DG ReIDトレーニングのための新しいスタイルインターリーブラーニング(IL)フレームワークを提案する。
従来の学習戦略とは異なり、ILには2つの前方伝播と1つの後方伝播が組み込まれている。
我々のモデルはDG ReIDの大規模ベンチマークにおいて最先端の手法を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2022-07-07T07:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。