論文の概要: OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization

• arxiv url: http://arxiv.org/abs/2403.11053v1
• Date: Sun, 17 Mar 2024 01:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 20:27:00.453630
• Title: OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization
• Title（参考訳）: OSTAF: 属性指向T2Iパーソナライゼーション改善のためのワンショットチューニング方法
• Authors: Ye Wang, Zili Yi, Rui Ma,
• Abstract要約: 個人化されたテキスト・ツー・イメージ(T2I)のパーソナライズのためのパラメータ効率の高いワンショット微調整手法を提案する。 様々な属性特徴の正確な学習を実現するために,ハイパネットワークによる属性中心の微調整機構が導入された。 提案手法は属性識別と適用において大きな優位性を示すとともに,効率と出力品質のバランスが良好であることを示す。
• 参考スコア（独自算出の注目度）: 9.552325786494334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized text-to-image (T2I) models not only produce lifelike and varied visuals but also allow users to tailor the images to fit their personal taste. These personalization techniques can grasp the essence of a concept through a collection of images, or adjust a pre-trained text-to-image model with a specific image input for subject-driven or attribute-aware guidance. Yet, accurately capturing the distinct visual attributes of an individual image poses a challenge for these methods. To address this issue, we introduce OSTAF, a novel parameter-efficient one-shot fine-tuning method which only utilizes one reference image for T2I personalization. A novel hypernetwork-powered attribute-focused fine-tuning mechanism is employed to achieve the precise learning of various attribute features (e.g., appearance, shape or drawing style) from the reference image. Comparing to existing image customization methods, our method shows significant superiority in attribute identification and application, as well as achieves a good balance between efficiency and output quality.
• Abstract（参考訳）: パーソナライズされたテキスト・ツー・イメージ(T2I)モデルでは、ライフスタイルやさまざまな視覚を生成できるだけでなく、ユーザーは自分の好みに合わせて画像をカスタマイズできる。 これらのパーソナライズ技術は、イメージの集合を通して概念の本質を把握したり、トレーニング済みのテキスト・ツー・イメージモデルを、主観駆動または属性・アウェア・ガイダンスのための特定のイメージ入力で調整することができる。 しかし、個々の画像の異なる視覚特性を正確に捉えることは、これらの手法の課題となる。 この問題に対処するために、T2Iパーソナライズのための参照画像のみを利用する新しいパラメータ効率のワンショット微調整手法であるOSTAFを紹介する。 参照画像から様々な属性特徴(例えば、外観、形状、描画スタイル)を正確に学習するために、新しいハイパーネットワークによる属性中心の微調整機構を用いる。 既存の画像のカスタマイズ手法と比較して,属性の識別と適用において大きな優位性を示すとともに,効率と出力品質のバランスも良好である。

関連論文リスト

• DisEnvisioner: Disentangled and Enriched Visual Prompt for Customized Image Generation [22.599542105037443]
  DisEnvisionerは、非関連情報をフィルタリングしながら、主観的特徴を効果的に抽出し、強化するための新しいアプローチである。 具体的には、被写体と他の無関係なコンポーネントの特徴を視覚的トークンに効果的に分離し、より正確なカスタマイズを可能にする。 提案手法は,命令応答(予測可能性),ID整合性,推論速度,画像の全体的な品質において,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-02T22:29:14Z)
• ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
  本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。 本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
  論文  参考訳（メタデータ） (2024-08-10T08:53:41Z)
• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Customizing Text-to-Image Models with a Single Image Pair [47.49970731632113]
  芸術再解釈(Art repretation)は、参照された作品のバリエーションを作成し、異なる芸術様式を示すペアアートを作るプラクティスである。 Pair Customizationは1つの画像対からスタイリスティックな違いを学習し、取得したスタイルを生成プロセスに適用する新しいカスタマイズ手法である。
  論文  参考訳（メタデータ） (2024-05-02T17:59:52Z)
• U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation [18.841473623776153]
  最先端のパーソナライズモデルでは、被写体全体をオーバーフィットさせる傾向があり、画素空間における視覚的特徴を乱すことはできない。 ユーザ固有の視覚属性を学習するために,ターゲット関連および非ターゲットサンプルを生成するために,新たなデカップリング自己拡張戦略を提案する。 SOTAパーソナライズ手法による様々な視覚特性の実験は、新規な文脈における対象の視覚的外観を模倣する手法の能力を示している。
  論文  参考訳（メタデータ） (2024-03-29T15:20:34Z)
• Tuning-Free Image Customization with Image and Text Guidance [65.9504243633169]
  テキスト画像の同時カスタマイズのためのチューニング不要なフレームワークを提案する。 提案手法は,テキスト記述に基づく詳細な属性の修正が可能でありながら,参照画像のセマンティックな特徴を保っている。 提案手法は,人的・定量的評価において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-19T11:48:35Z)
• Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
  テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。 本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-19T09:52:41Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models [14.657472801570284]
  PIAは、条件画像との整合性、テキストによる動作制御性、および特定のチューニングなしで様々なパーソナライズされたT2Iモデルとの互換性に優れる。 PIAのキーコンポーネントは条件モジュールの導入であり、入力として条件フレームとフレーム間の親和性を利用する。
  論文  参考訳（メタデータ） (2023-12-21T15:51:12Z)
• Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network [92.01145655155374]
  監視されていない画像強調生成ネットワーク(UEGAN)を提案する。 教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。 その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。