論文の概要: ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs

• arxiv url: http://arxiv.org/abs/2311.13600v1
• Date: Wed, 22 Nov 2023 18:59:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:03:10.518548
• Title: ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs
• Title（参考訳）: ZipLoRA:LoRAを効果的にマージするあらゆるスタイルの課題
• Authors: Viraj Shah, Nataniel Ruiz, Forrester Cole, Erika Lu, Svetlana Lazebnik, Yuanzhen Li, Varun Jampani
• Abstract要約: 低ランク適応(LoRA)は概念駆動型パーソナライゼーションを実現するためのパラメータ効率のよい方法として提案されている。 我々は、独立に訓練されたスタイルと主題のLoRAを安価かつ効果的にマージするZipLoRAを提案する。 実験により、ZipLoRAは主観とスタイルの忠実さのベースラインよりも有意義な改善を施した魅力的な結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 56.85106417530364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io
• Abstract（参考訳）: 概念駆動パーソナライゼーションのための生成モデルの微調整方法は、一般的に主題駆動またはスタイル駆動生成において強い結果を得る。 近年,概念駆動型パーソナライゼーションを実現する手段として,ローランク適応(LoRA)が提案されている。 最近の研究は、学習スタイルと主題の合同生成を実現するために別々のLoRAの組み合わせを探求しているが、既存のテクニックは問題に確実に対処しない。 ZipLoRAは、ユーザが提供する任意のオブジェクトをユーザが提供するスタイルで生成するために、独立して訓練されたスタイルと主題のLoRAを安価かつ効果的にマージする手法である。 幅広い主題とスタイルの組み合わせの実験により、ZipLoRAは、テキスト化の能力を保ちながら、主題のベースラインやスタイルの忠実さよりも有意義な改善を施した説得力のある結果が得られることが示された。 プロジェクトページ: https://ziplora.github.io

関連論文リスト

• LoRACLR: Contrastive Adaptation for Customization of Diffusion Models [62.70911549650579]
  LoRACLRは、複数のLoRAモデルを単一の統一モデルにマージする、マルチコンセプト画像生成の新しいアプローチである。 LoRACLRは、これらのモデルの重み空間を整列し、マージするために対照的な目的を使い、干渉を最小限にしながら互換性を確保する。 本結果は,複数の概念を正確にマージし,パーソナライズされた画像生成能力を向上する上で,LoRACLRの有効性を強調した。
  論文  参考訳（メタデータ） (2024-12-12T18:59:55Z)
• LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation [28.098287135605364]
  画像品質を向上し、マージ処理において4000ドルを超える驚くべきスピードアップを実現する方法であるLoRA.rarを紹介する。 LoRA.rarは、様々なコンテンツスタイルのLoRAペアのハイパーネットワークを事前トレーニングし、新しい、目に見えないコンテンツスタイルのペアに一般化する効率的なマージ戦略を学ぶ。 本手法は,MLLMの評価と人的評価によって評価され,内容とスタイルの忠実さの両面で技術の現状を著しく上回っている。
  論文  参考訳（メタデータ） (2024-12-06T16:04:56Z)
• UnZipLoRA: Separating Content and Style from a Single Image [16.61595725708187]
  UnZipLoRAは、イメージを構成対象とスタイルに分解する方法である。 UnZipLoRAは、両方のLoRAを同時にトレーニングすることで、これらの要素を単一のイメージから切り離す。
  論文  参考訳（メタデータ） (2024-12-05T18:59:50Z)
• CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
  Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。 本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。 本手法を協調ロラ(CopRA)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-30T11:07:09Z)
• DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
  DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。 これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。 本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-13T09:00:35Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Implicit Style-Content Separation using B-LoRA [61.664293840163865]
  一つの画像のスタイルとコンテンツコンポーネントを暗黙的に分離する手法であるB-LoRAを紹介する。 SDXLのアーキテクチャをLoRAと組み合わせて解析することにより、2つのブロックのLoRA重みを共同で学習することで、スタイル・コンテント分離を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:20:21Z)
• Block-wise LoRA: Revisiting Fine-grained LoRA for Effective Personalization and Stylization in Text-to-Image Generation [2.2356314962198836]
  テキスト・ツー・イメージにおけるパーソナライズとスタイリゼーションの目的は,ユーザによって導入された新しい概念を分析し,それらを期待されるスタイルに組み込むために,事前学習した拡散モデルに指示することである。 SDの異なるブロックに対してきめ細かな微調整を行うブロックワイド低ランク適応(LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-12T10:38:03Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。