論文の概要: Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

• arxiv url: http://arxiv.org/abs/2605.08702v1
• Date: Sat, 09 May 2026 05:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.824957
• Title: Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models
• Title（参考訳）: Gate-and-Merge:視覚言語モデルのゼロショット構成パーソナライズ
• Abstract要約: 共起学習を必要とせずに作曲のパーソナライズを可能にするフレームワークであるGate-and-Mergeを紹介する。 パーソナライゼーションの間、各概念は、概念トークンと組み合わせた軽量のLoRAアダプタとして独立に学習される。 推定では,概念固有のLoRA更新を重み空間に直接マージすることで構成を可能にする。
• 参考スコア（独自算出の注目度）: 60.25065199948178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper tackles compositional personalization of vision-language models (VLMs). In this problem, multiple user-defined concepts must be recognized or described jointly at test time. We introduce Gate-and-Merge, a zero-shot framework that enables compositional personalization without the need for co-occurrence training. During personalization, each concept is learned independently as a lightweight LoRA adapter, paired with a concept token. The base model remains unchanged and concepts are kept disentangled. At inference, we enable composition by merging concept-specific LoRA updates directly in weight space. To suppress irrelevant activations and prevent interference, a gating mechanism is employed to estimate textual and visual cues and select only the modules that contribute to the prediction. We further stabilize composition by combining only the most meaningful and mutually consistent updates, helping preserve each concept's identity. Our quantitative and qualitative analyses show consistent gains in performance across multiple personalization tasks in both single-concept and compositional settings.
• Abstract（参考訳）: 本稿では,視覚言語モデル(VLM)の構成的パーソナライゼーションに取り組む。 この問題では、複数のユーザ定義概念をテスト時に共同で認識または記述する必要がある。 ゼロショットフレームワークであるGate-and-Mergeを導入する。 パーソナライゼーションの間、各概念は、概念トークンと組み合わせた軽量のLoRAアダプタとして独立に学習される。 基本モデルはそのままであり、概念は切り離されている。 推定では,概念固有のLoRA更新を重み空間に直接マージすることで構成を可能にする。 無関係なアクティベーションを抑制し、干渉を防止するため、ゲーティング機構を用いてテキストおよび視覚的手がかりを推定し、予測に寄与するモジュールのみを選択する。 我々は、最も有意義で相互に一貫した更新だけを組み合わせることで構成をさらに安定させ、それぞれの概念のアイデンティティを維持するのに役立ちます。 定量的および定性的な分析により、単一概念と構成条件の両方において、複数のパーソナライズタスクにおけるパフォーマンスが一貫した向上を示した。

関連論文リスト

• Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting [6.850015735130428]
  Low-Rank Adaptation (LoRA)は、事前学習された拡散モデルを特定の視覚概念やスタイルに適応させることで、テキスト・画像生成におけるパーソナライズを実現している。 本稿では,複数のLoRAモジュールの出力を最適に組み合わせることで,マルチコンセプトのカスタマイズをシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2026-06-02T15:42:09Z)
• CPC-VAR:Continual Personalized and Compositional Generation in Visual Autoregressive Models [69.9266117908314]
  VAR(Visual Autoregressive)モデルは、テキスト・ツー・イメージ生成の効率的なパラダイムとして登場した。 既存のVARベースのパーソナライズ方法は、進化するユーザ要求に対応できない。 VARモデルにおける連続的パーソナライズ生成に関する最初の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-05-19T12:18:15Z)
• Unified Personalized Understanding, Generating and Editing [54.5563878110386]
  統一LMMのためのエンドツーエンドパーソナライズフレームワークである textbf OmniPersona を提案する。 パーソナライズされた理解、生成、画像編集を単一のアーキテクチャに統合する。 実験によると、OmniPersonaは多様なパーソナライゼーションタスクに対して、競争力と堅牢なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-01-11T15:46:34Z)
• Mod-Adapter: Tuning-Free and Versatile Multi-concept Personalization via Modulation Adapter [57.49476151976054]
  テストタイムの微調整なしにオブジェクトと抽象概念を効果的にカスタマイズできるマルチコンセプトパーソナライズのためのチューニング不要な手法を提案する。 本手法は, 定量的, 質的, 人的評価によって支援された多概念パーソナライゼーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-24T09:21:32Z)
• Modular Customization of Diffusion Models via Blockwise-Parameterized Low-Rank Adaptation [73.16975077770765]
  コンセプトのスタイリングやマルチコンセプトのカスタマイズといったアプリケーションには、モジュール化が不可欠である。 インスタントマージ法は、個々のマージされた概念のアイデンティティ損失と干渉を引き起こすことが多い。 個々の概念のアイデンティティを正確に保存しつつ,複数の概念を効率的に組み合わせたインスタントマージ手法であるBlockLoRAを提案する。
  論文  参考訳（メタデータ） (2025-03-11T16:10:36Z)
• Concept Conductor: Orchestrating Multiple Personalized Concepts in Text-to-Image Synthesis [14.21719970175159]
  コンセプトコンダクタは、マルチコンセプトのカスタマイズにおいて、視覚的忠実さと正確なレイアウトを保証するように設計されている。 本稿では,各概念の生成領域を特定するために形状認識マスクを用いた概念注入手法を提案する。 本手法は,様々な概念の組み合わせをサポートし,視覚的に類似した概念を扱う場合でも高い忠実性を維持する。
  論文  参考訳（メタデータ） (2024-08-07T08:43:58Z)
• LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
  ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。 既存のアプローチでは、複数のローランド適応(LoRA)の融合行列をトレーニングして、さまざまな概念をひとつのイメージにマージすることが多い。 LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2024-03-18T09:58:52Z)
• OMG: Occlusion-friendly Personalized Multi-concept Generation in Diffusion Models [47.63060402915307]
  OMGは、単一のイメージ内に複数の概念をシームレスに統合するように設計されたフレームワークである。 OMGはマルチコンセプトパーソナライゼーションにおいて優れた性能を示す。 civitai.comのLoRAモデルは直接利用することができる。
  論文  参考訳（メタデータ） (2024-03-16T17:30:15Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。