論文の概要: FiVA: Fine-grained Visual Attribute Dataset for Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.07674v1
• Date: Tue, 10 Dec 2024 17:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:52.469341
• Title: FiVA: Fine-grained Visual Attribute Dataset for Text-to-Image Diffusion Models
• Title（参考訳）: FiVA:テキスト・画像拡散モデルのための微粒な視覚属性データセット
• Authors: Tong Wu, Yinghao Xu, Ryan Po, Mengchen Zhang, Guandao Yang, Jiaqi Wang, Ziwei Liu, Dahua Lin, Gordon Wetzstein,
• Abstract要約: 現在の方法では、ソース画像からアイデンティティとスタイルを抽出しようとする。 スタイル」は、テクスチャ、色、芸術的要素を含む広い概念であるが、照明や動力学など他の重要な要素をカバーしていない。 画像の美学を特定の視覚属性に分解するより効果的なアプローチを定式化し、ユーザーは異なる画像から照明、テクスチャ、ダイナミックスなどの特徴を適用できる。
• 参考スコア（独自算出の注目度）: 112.94440113631897
• License:
• Abstract: Recent advances in text-to-image generation have enabled the creation of high-quality images with diverse applications. However, accurately describing desired visual attributes can be challenging, especially for non-experts in art and photography. An intuitive solution involves adopting favorable attributes from the source images. Current methods attempt to distill identity and style from source images. However, "style" is a broad concept that includes texture, color, and artistic elements, but does not cover other important attributes such as lighting and dynamics. Additionally, a simplified "style" adaptation prevents combining multiple attributes from different sources into one generated image. In this work, we formulate a more effective approach to decompose the aesthetics of a picture into specific visual attributes, allowing users to apply characteristics such as lighting, texture, and dynamics from different images. To achieve this goal, we constructed the first fine-grained visual attributes dataset (FiVA) to the best of our knowledge. This FiVA dataset features a well-organized taxonomy for visual attributes and includes around 1 M high-quality generated images with visual attribute annotations. Leveraging this dataset, we propose a fine-grained visual attribute adaptation framework (FiVA-Adapter), which decouples and adapts visual attributes from one or more source images into a generated one. This approach enhances user-friendly customization, allowing users to selectively apply desired attributes to create images that meet their unique preferences and specific content requirements.
• Abstract（参考訳）: 近年のテキスト・画像生成の進歩により、様々な用途で高品質な画像が作成できるようになった。 しかし、特に芸術や写真における非専門家にとって、望ましい視覚特性を正確に記述することは困難である。 直感的な解決策は、ソースイメージから好ましい属性を採用することである。 現在の方法では、ソース画像からアイデンティティとスタイルを抽出しようとする。 しかし、「スタイル」は、テクスチャ、色、芸術的要素を含む広い概念であるが、照明や動力学など他の重要な要素をカバーしていない。 さらに、単純化された"スタイル"適応は、異なるソースからの複数の属性を1つの生成イメージに組み合わせることを防ぐ。 本研究では、画像の美学を特定の視覚属性に分解するより効果的なアプローチを定式化し、ユーザーは異なる画像から照明、テクスチャ、ダイナミックスなどの特徴を適用できる。 この目的を達成するために、我々は私たちの知識を最大限に活用するために、最初の細粒度視覚属性データセット(FiVA)を構築した。 このFIVAデータセットは、視覚属性のためのよく組織化された分類を特徴とし、視覚属性アノテーションを備えた約1Mの高品質な画像を含む。 このデータセットを活用することで、複数のソースイメージから視覚属性を分離し、生成した画像に適応する、きめ細かい視覚属性適応フレームワーク(FiVA-Adapter)を提案する。 このアプローチはユーザフレンドリなカスタマイズを強化し、ユーザが望む属性を選択的に適用して、独自の好みと特定のコンテンツ要件を満たすイメージを作成する。

関連論文リスト

• DisEnvisioner: Disentangled and Enriched Visual Prompt for Customized Image Generation [22.599542105037443]
  DisEnvisionerは、非関連情報をフィルタリングしながら、主観的特徴を効果的に抽出し、強化するための新しいアプローチである。 具体的には、被写体と他の無関係なコンポーネントの特徴を視覚的トークンに効果的に分離し、より正確なカスタマイズを可能にする。 提案手法は,命令応答(予測可能性),ID整合性,推論速度,画像の全体的な品質において,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-02T22:29:14Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Measuring Style Similarity in Diffusion Models [118.22433042873136]
  画像からスタイル記述子を理解し抽出するためのフレームワークを提案する。 我々のフレームワークは、スタイルが画像の主観的特性であるという洞察を用いてキュレートされた新しいデータセットで構成されている。 また、テキスト・ツー・イメージ・モデルのトレーニングデータセットで使用される画像に対して、生成した画像のスタイルに使用できるスタイル属性記述子を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:30Z)
• U-VAP: User-specified Visual Appearance Personalization via Decoupled Self Augmentation [18.841473623776153]
  最先端のパーソナライズモデルでは、被写体全体をオーバーフィットさせる傾向があり、画素空間における視覚的特徴を乱すことはできない。 ユーザ固有の視覚属性を学習するために,ターゲット関連および非ターゲットサンプルを生成するために,新たなデカップリング自己拡張戦略を提案する。 SOTAパーソナライズ手法による様々な視覚特性の実験は、新規な文脈における対象の視覚的外観を模倣する手法の能力を示している。
  論文  参考訳（メタデータ） (2024-03-29T15:20:34Z)
• OSTAF: A One-Shot Tuning Method for Improved Attribute-Focused T2I Personalization [9.552325786494334]
  個人化されたテキスト・ツー・イメージ(T2I)のパーソナライズのためのパラメータ効率の高いワンショット微調整手法を提案する。 様々な属性特徴の正確な学習を実現するために,ハイパネットワークによる属性中心の微調整機構が導入された。 提案手法は属性識別と適用において大きな優位性を示すとともに,効率と出力品質のバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2024-03-17T01:42:48Z)
• Predicting Scores of Various Aesthetic Attribute Sets by Learning from Overall Score Labels [54.63611854474985]
  本稿では,画像属性ラベルを特徴抽出器に置き換えることを提案する。 異なるタスクのネットワークを使用して、F2Sモデルに属性機能を提供します。 本手法は, 各種の美的属性セットに対して, 総合的な美的スコアのみを用いて有意な属性スコアを学習できるようにする。
  論文  参考訳（メタデータ） (2023-12-06T01:41:49Z)
• UMAAF: Unveiling Aesthetics via Multifarious Attributes of Images [16.647573404422175]
  画像の絶対属性と相対属性の両方をモデル化する統一多属性美意識評価フレームワーク(UMAAF)を提案する。 UMAAFは、TAD66KとAVAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-19T11:57:01Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Everything is There in Latent Space: Attribute Editing and Attribute Style Manipulation by StyleGAN Latent Space Exploration [39.18239951479647]
  RAAME (Few-shot Latent-based Attribute Manipulation and Editing) について紹介する。 FLAMEは、遅延空間操作によって高度に制御された画像編集を行うためのフレームワークである。 様々な属性スタイルをアンタングル的に生成する。
  論文  参考訳（メタデータ） (2022-07-20T12:40:32Z)
• Composition and Style Attributes Guided Image Aesthetic Assessment [66.60253358722538]
  本稿では,画像の美学を自動予測する手法を提案する。 提案ネットワークには,意味的特徴抽出のための事前学習ネットワーク(Backbone)と,画像属性の予測にBackbone機能に依存するマルチレイヤパーセプトロン(MLP)ネットワーク(AttributeNet)が含まれる。 画像が与えられた場合、提案するマルチネットワークは、スタイルと構成属性、および美的スコア分布を予測できる。
  論文  参考訳（メタデータ） (2021-11-08T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。