論文の概要: Contrastive Test-Time Composition of Multiple LoRA Models for Image Generation

• arxiv url: http://arxiv.org/abs/2403.19776v2
• Date: Tue, 29 Jul 2025 20:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.649857
• Title: Contrastive Test-Time Composition of Multiple LoRA Models for Image Generation
• Title（参考訳）: 画像生成のための複数LORAモデルの対比テスト時間構成
• Authors: Tuna Han Salih Meral, Enis Simsar, Federico Tombari, Pinar Yanardag,
• Abstract要約: Low-Rank Adaptation (LoRA) はパーソナライズのための強力でポピュラーなテクニックとして登場した。 既存の手法は、異なるLoRAモデル内の注意機構が重なり合うため、しばしば不足する。 テスト時に複数のLoRAモデルのアテンションマップを更新することで,これらの制限に対処する,トレーニング不要なアプローチであるCLoRAを導入する。
• 参考スコア（独自算出の注目度）: 44.037664077117945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has emerged as a powerful and popular technique for personalization, enabling efficient adaptation of pre-trained image generation models for specific tasks without comprehensive retraining. While employing individual pre-trained LoRA models excels at representing single concepts, such as those representing a specific dog or a cat, utilizing multiple LoRA models to capture a variety of concepts in a single image still poses a significant challenge. Existing methods often fall short, primarily because the attention mechanisms within different LoRA models overlap, leading to scenarios where one concept may be completely ignored (e.g., omitting the dog) or where concepts are incorrectly combined (e.g., producing an image of two cats instead of one cat and one dog). We introduce CLoRA, a training-free approach that addresses these limitations by updating the attention maps of multiple LoRA models at test-time, and leveraging the attention maps to create semantic masks for fusing latent representations. This enables the generation of composite images that accurately reflect the characteristics of each LoRA. Our comprehensive qualitative and quantitative evaluations demonstrate that CLoRA significantly outperforms existing methods in multi-concept image generation using LoRAs.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパーソナライズのための強力で一般的な手法として登場し、包括的リトレーニングなしで特定のタスクに対する事前学習画像生成モデルの効率的な適応を可能にする。 個々のトレーニング済みのLoRAモデルを採用することで、特定の犬や猫など、単一の概念を表現することができる一方で、複数のLoRAモデルを使用して、さまざまな概念を単一のイメージで捉えることは、依然として大きな課題である。 既存の方法は、主に異なるLoRAモデル内の注意機構が重なり合うため、ひとつの概念が完全に無視される場合(例えば、犬を省略する場合)や、概念が正しく結合されていない場合(例えば、1匹の猫と1匹の犬の代わりに2匹の猫のイメージを生成する場合)に原因となる。 CLoRAは、テスト時に複数のLoRAモデルのアテンションマップを更新し、アテンションマップを活用して、潜在表現を融合するためのセマンティックマスクを作成することで、これらの制限に対処するトレーニングフリーアプローチである。 これにより、各LoRAの特性を正確に反映した合成画像を生成することができる。 包括的質的および定量的評価により、CLoRAは、LoRAを用いたマルチコンセプト画像生成において、既存の手法よりも大幅に優れていることが示された。

関連論文リスト

• Pisces: An Auto-regressive Foundation Model for Image Understanding and Generation [81.92275347127833]
  統一モデルを開発する上で重要な課題は、画像理解に必要な視覚的特徴と生成の相違にある。 本稿では,この課題に対処する自動回帰型マルチモーダル基盤モデルであるPiscesを紹介する。 微妙なデータキュレーション、事前学習、微調整と組み合わせることで、ピッセは画像理解と画像生成の両方において競合する性能を達成する。
  論文  参考訳（メタデータ） (2025-06-12T06:37:34Z)
• Cached Multi-Lora Composition for Multi-Concept Image Generation [10.433033595844442]
  Low-Rank Adaptation (LoRA) はテキスト・ツー・イメージ・モデルにおいて広く採用されている手法である。 現在のアプローチでは、マルチコンセプト画像生成のためにこれらのLoRAを構成する際に大きな課題に直面している。 我々は,複数のLoRAを効率的に統合するために設計された,新しいトレーニングフリーフレームワークであるCached Multi-LoRA(CMLoRA)を紹介した。
  論文  参考訳（メタデータ） (2025-02-07T13:41:51Z)
• A LoRA is Worth a Thousand Pictures [28.928964530616593]
  低ランク適応(LoRA)は、最小限のデータと計算を用いてアーティストのスタイルや主題を再現することができる。 画像生成やトレーニングセットの知識を必要とせずに,LoRA重みだけで効果的なスタイル記述子として機能することを示す。 ゼロショットLORAファインチューニングやモデル属性など,将来的な応用の可能性について論じる。
  論文  参考訳（メタデータ） (2024-12-16T18:18:17Z)
• LoRACLR: Contrastive Adaptation for Customization of Diffusion Models [62.70911549650579]
  LoRACLRは、複数のLoRAモデルを単一の統一モデルにマージする、マルチコンセプト画像生成の新しいアプローチである。 LoRACLRは、これらのモデルの重み空間を整列し、マージするために対照的な目的を使い、干渉を最小限にしながら互換性を確保する。 本結果は,複数の概念を正確にマージし,パーソナライズされた画像生成能力を向上する上で,LoRACLRの有効性を強調した。
  論文  参考訳（メタデータ） (2024-12-12T18:59:55Z)
• LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation [28.098287135605364]
  画像品質を向上し、マージ処理において4000ドルを超える驚くべきスピードアップを実現する方法であるLoRA.rarを紹介する。 LoRA.rarは、様々なコンテンツスタイルのLoRAペアのハイパーネットワークを事前トレーニングし、新しい、目に見えないコンテンツスタイルのペアに一般化する効率的なマージ戦略を学ぶ。 本手法は,MLLMの評価と人的評価によって評価され,内容とスタイルの忠実さの両面で技術の現状を著しく上回っている。
  論文  参考訳（メタデータ） (2024-12-06T16:04:56Z)
• LoRA of Change: Learning to Generate LoRA for the Editing Instruction from A Single Before-After Image Pair [116.48684498656871]
  視覚的指示を用いた画像編集のためのLoRA of Change (LoC) フレームワークを提案する。 我々は、命令固有のLoRAを学習し、事前のイメージペアで「変更」を符号化し、モデルの解釈可能性と再利用性を高める。 本モデルでは,ユーザ意図に整合した高品質な画像を生成し,現実世界の視覚的指示の幅広い範囲をサポートする。
  論文  参考訳（メタデータ） (2024-11-28T13:55:06Z)
• LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks [73.09643674975591]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整手法である。 異なるLoRAモジュールをマージして,スキルコンポジションを実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-10-16T20:33:06Z)
• AutoLoRA: AutoGuidance Meets Low-Rank Adaptation for Diffusion Models [0.9514837871243403]
  低ランク適応(LoRA)は条件付き生成拡散モデルに適用できる微調整技術である。 本稿では,LoRAアプローチを微調整した拡散モデルのための新しいガイダンス手法であるAutoLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T21:57:11Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• DiffLoRA: Generating Personalized Low-Rank Adaptation Weights with Diffusion [43.55179971287028]
  DiffLoRAは、拡散モデルをハイパーネットワークとして活用し、パーソナライズされた低ランク適応重みを予測できる効率的な手法である。 これらのLoRA重みをオフザシェルのテキスト・ツー・イメージモデルに組み込むことで、推論中にゼロショットのパーソナライズが可能になる。 本稿では、DiffLoRAのトレーニングプロセスを容易にするために、新しいアイデンティティ指向のLoRA重み付けパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-13T09:00:35Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• Implicit Style-Content Separation using B-LoRA [61.664293840163865]
  一つの画像のスタイルとコンテンツコンポーネントを暗黙的に分離する手法であるB-LoRAを紹介する。 SDXLのアーキテクチャをLoRAと組み合わせて解析することにより、2つのブロックのLoRA重みを共同で学習することで、スタイル・コンテント分離を実現する。
  論文  参考訳（メタデータ） (2024-03-21T17:20:21Z)
• LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
  ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。 既存のアプローチでは、複数のローランド適応(LoRA)の融合行列をトレーニングして、さまざまな概念をひとつのイメージにマージすることが多い。 LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2024-03-18T09:58:52Z)
• Multi-LoRA Composition for Image Generation [107.83002438126832]
  復号化中心の観点から,マルチロラ合成について検討する。 我々は,各聴覚ステップで異なるLoRAを交互に切り替えるLoRA Switchと,より密着的な画像合成を導くためにすべてのLoRAを同時に組み込むLoRA Compositeの2つのトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。