論文の概要: U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation

• arxiv url: http://arxiv.org/abs/2403.20231v1
• Date: Fri, 29 Mar 2024 15:20:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 15:14:57.450812
• Title: U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation
• Title（参考訳）: U-VAP:Decoupled Self Augmentationによるユーザ特定ビジュアル外観パーソナライゼーション
• Authors: You Wu, Kean Liu, Xiaoyue Mi, Fan Tang, Juan Cao, Jintao Li,
• Abstract要約: 最先端のパーソナライズモデルでは、被写体全体をオーバーフィットさせる傾向があり、画素空間における視覚的特徴を乱すことはできない。 ユーザ固有の視覚属性を学習するために,ターゲット関連および非ターゲットサンプルを生成するために,新たなデカップリング自己拡張戦略を提案する。 SOTAパーソナライズ手法による様々な視覚特性の実験は、新規な文脈における対象の視覚的外観を模倣する手法の能力を示している。
• 参考スコア（独自算出の注目度）: 18.841473623776153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Concept personalization methods enable large text-to-image models to learn specific subjects (e.g., objects/poses/3D models) and synthesize renditions in new contexts. Given that the image references are highly biased towards visual attributes, state-of-the-art personalization models tend to overfit the whole subject and cannot disentangle visual characteristics in pixel space. In this study, we proposed a more challenging setting, namely fine-grained visual appearance personalization. Different from existing methods, we allow users to provide a sentence describing the desired attributes. A novel decoupled self-augmentation strategy is proposed to generate target-related and non-target samples to learn user-specified visual attributes. These augmented data allow for refining the model's understanding of the target attribute while mitigating the impact of unrelated attributes. At the inference stage, adjustments are conducted on semantic space through the learned target and non-target embeddings to further enhance the disentanglement of target attributes. Extensive experiments on various kinds of visual attributes with SOTA personalization methods show the ability of the proposed method to mimic target visual appearance in novel contexts, thus improving the controllability and flexibility of personalization.
• Abstract（参考訳）: 概念のパーソナライズ手法により、大きなテキスト・ツー・イメージモデルでは、特定の主題(例えば、オブジェクト/目的/3Dモデル)を学習し、新しい文脈における再帰を合成することができる。 画像参照が視覚特性に非常に偏りがあることを考えると、最先端のパーソナライズモデルでは被写体全体をオーバーフィットさせがちであり、画素空間における視覚特性を歪ませることができない。 本研究では,より難易度の高い視覚的外観のパーソナライゼーションを提案する。 既存の方法とは違って,所望の属性を記述した文をユーザに提供することができる。 ユーザ固有の視覚属性を学習するために,ターゲット関連および非ターゲットサンプルを生成するために,新たなデカップリング自己拡張戦略を提案する。 これらの強化されたデータは、無関係な属性の影響を緩和しながら、モデルが対象属性について理解を深めることを可能にする。 推論段階では、学習対象と非対象埋め込みを通した意味空間の調整を行い、対象属性の絡み合いをさらに高める。 SOTAパーソナライズ手法を用いた様々な視覚特性に関する広範囲な実験は、新規な文脈における対象の視覚的外観を模倣する手法の能力を示し、パーソナライゼーションの制御性と柔軟性を向上させる。

関連論文リスト

• Powerful and Flexible: Personalized Text-to-Image Generation via Reinforcement Learning [40.06403155373455]
  個人化されたテキスト・画像生成のための新しい強化学習フレームワークを提案する。 提案手法は、テキストアライメントを維持しながら、視覚的忠実度に大きな差で既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T08:11:53Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [99.9389737339175]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization [9.552325786494334]
  個人化されたテキスト・ツー・イメージ(T2I)のパーソナライズのためのパラメータ効率の高いワンショット微調整手法を提案する。 様々な属性特徴の正確な学習を実現するために,ハイパネットワークによる属性中心の微調整機構が導入された。 提案手法は属性識別と適用において大きな優位性を示すとともに,効率と出力品質のバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2024-03-17T01:42:48Z)
• Multi-modal Attribute Prompting for Vision-Language Models [40.39559705414497]
  VLM(Pre-trained Vision-Language Models)は、タスクをダウンストリームする強力な一般化能力を示すが、少数のシナリオでは苦労する。 既存のプロンプト技術は主にグローバルテキストと画像表現に重点を置いているが、マルチモーダル属性の特徴を見落としている。 テキスト属性プロンプト,視覚属性プロンプト,属性レベルのアライメントを共同で探索し,マルチモーダル属性プロンプト法(MAP)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T01:28:10Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• StyleInject: Parameter Efficient Tuning of Text-to-Image Diffusion Models [35.732715025002705]
  StyleInject(スタイルインジェクション)は、テキスト・ツー・イメージ・モデルに適した特殊な微調整アプローチである。 入力信号の特性に基づいて視覚特徴のばらつきを調整することで、様々なスタイルに適応する。 これは、コミュニティが調整した様々な高度な生成モデルから学習し、拡張するのに特に有効である。
  論文  参考訳（メタデータ） (2024-01-25T04:53:03Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Parts of Speech-Grounded Subspaces in Vision-Language Models [32.497303059356334]
  本稿では,CLIPの視覚-言語空間における異なる視覚的モダリティの表現を分離することを提案する。 音声の特定の部分に対応する変動を捉える部分空間を学習し、他の部分への変動を最小化する。 提案手法は,視覚的外観に対応するサブ空間の学習を容易にする。
  論文  参考訳（メタデータ） (2023-05-23T13:32:19Z)
• VILA: Learning Image Aesthetics from User Comments with Vision-Language Pretraining [53.470662123170555]
  ユーザからのコメントから画像美学を学習し、マルチモーダルな美学表現を学習するための視覚言語事前学習手法を提案する。 具体的には、コントラスト的および生成的目的を用いて、画像テキストエンコーダ-デコーダモデルを事前訓練し、人間のラベルなしでリッチで汎用的な美的意味学を学習する。 以上の結果から,AVA-Captionsデータセットを用いた画像の美的字幕化において,事前学習した美的視覚言語モデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-03-24T23:57:28Z)
• SgVA-CLIP: Semantic-guided Visual Adapting of Vision-Language Models for Few-shot Image Classification [84.05253637260743]
  本稿では,セマンティック誘導視覚適応(SgVA)と呼ばれる新しいフレームワークを提案する。 SgVAは、視覚特異的のコントラスト損失、クロスモーダルのコントラスト損失、暗黙の知識蒸留を包括的に利用することで、識別的なタスク固有の視覚特徴を生成する。 13のデータセットの最先端の結果は、適応された視覚的特徴が、クロスモーダルな特徴を補完し、少数の画像分類を改善することを実証している。
  論文  参考訳（メタデータ） (2022-11-28T14:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。