論文の概要: LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation

• arxiv url: http://arxiv.org/abs/2412.05148v1
• Date: Fri, 06 Dec 2024 16:04:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:56.267347
• Title: LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation
• Title（参考訳）: LoRA.rar: サブジェクトスタイル条件付き画像生成のためのハイパーネットによるLoRAのマージ学習
• Authors: Donald Shenaj, Ondrej Bohdal, Mete Ozay, Pietro Zanuttigh, Umberto Michieli,
• Abstract要約: 画像品質を向上し、マージ処理において4000ドルを超える驚くべきスピードアップを実現する方法であるLoRA.rarを紹介する。 LoRA.rarは、様々なコンテンツスタイルのLoRAペアのハイパーネットワークを事前トレーニングし、新しい、目に見えないコンテンツスタイルのペアに一般化する効率的なマージ戦略を学ぶ。 本手法は,MLLMの評価と人的評価によって評価され,内容とスタイルの忠実さの両面で技術の現状を著しく上回っている。
• 参考スコア（独自算出の注目度）: 28.098287135605364
• License:
• Abstract: Recent advancements in image generation models have enabled personalized image creation with both user-defined subjects (content) and styles. Prior works achieved personalization by merging corresponding low-rank adaptation parameters (LoRAs) through optimization-based methods, which are computationally demanding and unsuitable for real-time use on resource-constrained devices like smartphones. To address this, we introduce LoRA.rar, a method that not only improves image quality but also achieves a remarkable speedup of over $4000\times$ in the merging process. LoRA.rar pre-trains a hypernetwork on a diverse set of content-style LoRA pairs, learning an efficient merging strategy that generalizes to new, unseen content-style pairs, enabling fast, high-quality personalization. Moreover, we identify limitations in existing evaluation metrics for content-style quality and propose a new protocol using multimodal large language models (MLLM) for more accurate assessment. Our method significantly outperforms the current state of the art in both content and style fidelity, as validated by MLLM assessments and human evaluations.
• Abstract（参考訳）: 画像生成モデルの最近の進歩により、ユーザ定義の主題(コンテンツ)とスタイルの両方で、パーソナライズされた画像作成が可能になった。 従来の研究は、スマートフォンなどのリソース制約のあるデバイスでリアルタイムに使用するのに、計算的に要求され、適さない最適化手法によって、対応するローランク適応パラメータ(LoRA)をマージすることでパーソナライズを実現した。 この問題を解決するために,画像品質を向上するだけでなく,マージングプロセスにおいて4000ドル以上のスピードアップを実現するLoRA.rarを導入する。 LoRA.rarは、様々なコンテンツスタイルのLoRAペアのハイパーネットワークを事前トレーニングし、新しい、目に見えないコンテンツスタイルのペアに一般化し、高速で高品質なパーソナライズを可能にする効率的なマージ戦略を学ぶ。 さらに,コンテンツスタイルの品質評価基準の制約を特定し,より正確な評価のためにMLLM(Multimodal Large Language Model)を用いた新しいプロトコルを提案する。 本手法は,MLLMの評価と人的評価により,コンテンツとスタイルの忠実さの両面において,現状の最先端を著しく上回っている。

関連論文リスト

• Cached Multi-Lora Composition for Multi-Concept Image Generation [10.433033595844442]
  Low-Rank Adaptation (LoRA) はテキスト・ツー・イメージ・モデルにおいて広く採用されている手法である。 現在のアプローチでは、マルチコンセプト画像生成のためにこれらのLoRAを構成する際に大きな課題に直面している。 我々は,複数のLoRAを効率的に統合するために設計された,新しいトレーニングフリーフレームワークであるCached Multi-LoRA(CMLoRA)を紹介した。
  論文  参考訳（メタデータ） (2025-02-07T13:41:51Z)
• CTR-Driven Advertising Image Generation with Multimodal Large Language Models [53.40005544344148]
  本稿では,Click-Through Rate (CTR) を主目的とし,マルチモーダル大言語モデル(MLLM)を用いた広告画像の生成について検討する。 生成した画像のCTRをさらに改善するため、強化学習(RL)を通して事前学習したMLLMを微調整する新たな報酬モデルを提案する。 本手法は,オンラインとオフラインの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-02-05T09:06:02Z)
• A LoRA is Worth a Thousand Pictures [28.928964530616593]
  低ランク適応(LoRA)は、最小限のデータと計算を用いてアーティストのスタイルや主題を再現することができる。 画像生成やトレーニングセットの知識を必要とせずに,LoRA重みだけで効果的なスタイル記述子として機能することを示す。 ゼロショットLORAファインチューニングやモデル属性など,将来的な応用の可能性について論じる。
  論文  参考訳（メタデータ） (2024-12-16T18:18:17Z)
• LoRACLR: Contrastive Adaptation for Customization of Diffusion Models [62.70911549650579]
  LoRACLRは、複数のLoRAモデルを単一の統一モデルにマージする、マルチコンセプト画像生成の新しいアプローチである。 LoRACLRは、これらのモデルの重み空間を整列し、マージするために対照的な目的を使い、干渉を最小限にしながら互換性を確保する。 本結果は,複数の概念を正確にマージし,パーソナライズされた画像生成能力を向上する上で,LoRACLRの有効性を強調した。
  論文  参考訳（メタデータ） (2024-12-12T18:59:55Z)
• LoRA of Change: Learning to Generate LoRA for the Editing Instruction from A Single Before-After Image Pair [116.48684498656871]
  視覚的指示を用いた画像編集のためのLoRA of Change (LoC) フレームワークを提案する。 我々は、命令固有のLoRAを学習し、事前のイメージペアで「変更」を符号化し、モデルの解釈可能性と再利用性を高める。 本モデルでは,ユーザ意図に整合した高品質な画像を生成し,現実世界の視覚的指示の幅広い範囲をサポートする。
  論文  参考訳（メタデータ） (2024-11-28T13:55:06Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• CLoRA: A Contrastive Approach to Compose Multiple LoRA Models [44.037664077117945]
  Low-Rank Adaptations (LoRA) は画像生成の分野で強力で一般的な技術として登場した。 CLoRAは、複数の概念をシームレスにブレンドして、さまざまな概念を1つのイメージでキャプチャする問題に対処する。 本手法は,LoRAの特性を反映した合成画像の作成を可能にする。
  論文  参考訳（メタデータ） (2024-03-28T18:58:43Z)
• ZipLoRA: Any Subject in Any Style by Effectively Merging LoRAs [56.85106417530364]
  低ランク適応(LoRA)は概念駆動型パーソナライゼーションを実現するためのパラメータ効率のよい方法として提案されている。 我々は、独立に訓練されたスタイルと主題のLoRAを安価かつ効果的にマージするZipLoRAを提案する。 実験により、ZipLoRAは主観とスタイルの忠実さのベースラインよりも有意義な改善を施した魅力的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-22T18:59:36Z)
• Continual Diffusion: Continual Customization of Text-to-Image Diffusion with C-LoRA [64.10981296843609]
  近年のテクスト・ツー・イメージ・モデルの最先端のカスタマイズは,新しい概念が次々に現れると,破滅的な忘れ込みに悩まされることが示されている。 安定拡散モデルのクロスアテンション層における自己規則化低ランク適応を連続的に行う新しい手法であるC-LoRAを提案する。 C-LoRAは、提案したテキスト・ツー・イメージの連続的なカスタマイズ設定のベースラインよりも優れるだけでなく、画像分類のためのリハーサル不要な連続的な学習設定において、新しい最先端の学習を実現することを示します。
  論文  参考訳（メタデータ） (2023-04-12T17:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。