論文の概要: Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting

• arxiv url: http://arxiv.org/abs/2606.03792v1
• Date: Tue, 02 Jun 2026 15:42:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.116343
• Title: Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting
• Title（参考訳）: Prompt-Aware Weighting を用いた無トレーニングマルチコンセプト LoRA 合成
• Authors: Georgios Tsoumplekas, Stella Bounareli, Vasileios Argyriou,
• Abstract要約: Low-Rank Adaptation (LoRA)は、事前学習された拡散モデルを特定の視覚概念やスタイルに適応させることで、テキスト・画像生成におけるパーソナライズを実現している。 本稿では,複数のLoRAモジュールの出力を最適に組み合わせることで,マルチコンセプトのカスタマイズをシンプルかつ効果的に行う手法を提案する。
• 参考スコア（独自算出の注目度）: 6.850015735130428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) successfully enables personalization in text-to-image generation by adapting pre-trained diffusion models to specific visual concepts and styles. However, extending such models to multi-concept customization remains challenging. Naively combining multiple LoRA weights or their outputs often leads to interference among concepts, resulting in degraded visual quality and reduced fidelity to the reference images of individual concepts. This paper proposes a simple yet effective approach for multi-concept customization by optimally combining the outputs of multiple LoRA modules. We leverage the relative importance of each concept during generation, as inferred from its corresponding prompt tokens and introduce two methods, W-Switch and W-Composite, that employ a prompt-aware importance weighting strategy in which each LoRA is weighted according to the semantic influence of its trigger words in the target prompt. In addition, we extend existing quantitative evaluation metrics by proposing a new image-based similarity evaluation framework that assesses image fidelity and identity preservation through comparisons between real-world reference images and automatically segmented concept regions from generated images. We evaluate our approach on the ComposLoRA testbed and demonstrate consistent improvements over existing state-of-the-art methods in terms of visual quality, identity preservation and compositionality. Qualitative evaluations, including a Large Language Model (LLM) based assessment and a user study, further validate the effectiveness of the proposed methods and align with the newly introduced quantitative image-based metrics. Our code is available at https://github.com/GeorgeTsoumplekas/Prompt-Aware-Multi-LoRA-Composition.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、事前学習された拡散モデルを特定の視覚概念やスタイルに適応させることで、テキスト・画像生成におけるパーソナライズを実現している。 しかし、そのようなモデルをマルチコンセプトのカスタマイズに拡張することは依然として困難である。 複数のLoRA重みや出力を組み合わせることで、概念間の干渉が生じ、結果として視覚的品質が低下し、個々の概念の参照画像に対する忠実度が低下する。 本稿では,複数のLoRAモジュールの出力を最適に組み合わせることで,マルチコンセプトのカスタマイズをシンプルかつ効果的に行う手法を提案する。 生成中の各概念の相対的重要性を、対応するプロンプトトークンから推定し、ターゲットプロンプトにおけるトリガー語の意味的影響に応じて各LoRAを重み付けするプロンプト対応重要重み付け戦略を用いて、W-SwitchとW-Compositeという2つの手法を導入する。 さらに、実世界の参照画像と生成された画像から自動的に区分けされた概念領域を比較することで、画像の忠実度とアイデンティティの保存性を評価する新しい画像ベース類似性評価フレームワークを提案することにより、既存の定量的評価指標を拡張した。 ComposLoRAテストベッドに対する我々のアプローチを評価し、視覚的品質、アイデンティティの保存、構成性の観点から、既存の最先端手法に対する一貫した改善を実証した。 大規模言語モデル(LLM)に基づく評価とユーザスタディを含む質的評価は,提案手法の有効性をさらに検証し,新たに導入された定量的画像ベースメトリクスと整合する。 私たちのコードはhttps://github.com/GeorgeTsoumplekas/Prompt-Aware-Multi-LoRA-Compositionで公開されています。

関連論文リスト

• Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models [60.25065199948178]
  共起学習を必要とせずに作曲のパーソナライズを可能にするフレームワークであるGate-and-Mergeを紹介する。 パーソナライゼーションの間、各概念は、概念トークンと組み合わせた軽量のLoRAアダプタとして独立に学習される。 推定では,概念固有のLoRA更新を重み空間に直接マージすることで構成を可能にする。
  論文  参考訳（メタデータ） (2026-05-09T05:32:28Z)
• Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition [81.2779530670268]
  VLM(Vision-Language Models)は、ゼロショット画像認識を著しく進歩させたモデルである。 本稿では、クラス固有の概念を取り入れることで、プロンプトを強化する。 我々の手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-03-09T03:11:11Z)
• Hierarchical Concept-to-Appearance Guidance for Multi-Subject Image Generation [22.845591588026366]
  本稿では,高レベルの概念からきめ細かい外観まで,明示的で構造化された監視を提供するフレームワークを提案する。 概念レベルでは、VAEの参照機能をランダムに省略するVAEドロップアウトトレーニング戦略を導入する。 外観レベルでは、VLM由来の対応文を対応認識型マスキングアテンションモジュールに統合する。
  論文  参考訳（メタデータ） (2026-02-03T12:13:29Z)
• LoRACLR: Contrastive Adaptation for Customization of Diffusion Models [84.04930416829264]
  LoRACLRは、複数のLoRAモデルを単一の統一モデルにマージする、マルチコンセプト画像生成の新しいアプローチである。 LoRACLRは、これらのモデルの重み空間を整列し、マージするために対照的な目的を使い、干渉を最小限にしながら互換性を確保する。 本結果は,複数の概念を正確にマージし,パーソナライズされた画像生成能力を向上する上で,LoRACLRの有効性を強調した。
  論文  参考訳（メタデータ） (2024-12-12T18:59:55Z)
• LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
  ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。 既存のアプローチでは、複数のローランド適応(LoRA)の融合行列をトレーニングして、さまざまな概念をひとつのイメージにマージすることが多い。 LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2024-03-18T09:58:52Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• NEUCORE: Neural Concept Reasoning for Composed Image Retrieval [16.08214739525615]
  NEUral Concept Reasoning モデルを提案する。 提案手法は3つのデータセットで評価し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-10-02T17:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。