論文の概要: Language-Guided Visual Perception Disentanglement for Image Quality Assessment and Conditional Image Generation

• arxiv url: http://arxiv.org/abs/2503.02206v1
• Date: Tue, 04 Mar 2025 02:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:18:03.371191
• Title: Language-Guided Visual Perception Disentanglement for Image Quality Assessment and Conditional Image Generation
• Title（参考訳）: 言語ガイドによる画像品質評価と条件付き画像生成のための視覚知覚ディアングル
• Authors: Zhichao Yang, Leida Li, Pengfei Chen, Jinjian Wu, Giuseppe Valenzise,
• Abstract要約: CLIPのような対照的な視覚言語モデルは、セマンティック認識タスク間で優れたゼロショット機能を示している。 本稿では, 画像のゆがみを導くために, ゆがみのあるテキストを利用する, マルチモーダルな非絡み付き表現学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.642826318384294
• License:
• Abstract: Contrastive vision-language models, such as CLIP, have demonstrated excellent zero-shot capability across semantic recognition tasks, mainly attributed to the training on a large-scale I&1T (one Image with one Text) dataset. This kind of multimodal representations often blend semantic and perceptual elements, placing a particular emphasis on semantics. However, this could be problematic for popular tasks like image quality assessment (IQA) and conditional image generation (CIG), which typically need to have fine control on perceptual and semantic features. Motivated by the above facts, this paper presents a new multimodal disentangled representation learning framework, which leverages disentangled text to guide image disentanglement. To this end, we first build an I&2T (one Image with a perceptual Text and a semantic Text) dataset, which consists of disentangled perceptual and semantic text descriptions for an image. Then, the disentangled text descriptions are utilized as supervisory signals to disentangle pure perceptual representations from CLIP's original `coarse' feature space, dubbed DeCLIP. Finally, the decoupled feature representations are used for both image quality assessment (technical quality and aesthetic quality) and conditional image generation. Extensive experiments and comparisons have demonstrated the advantages of the proposed method on the two popular tasks. The dataset, code, and model will be available.
• Abstract（参考訳）: CLIPのような対照的な視覚言語モデルは、主に大規模I&1T(1つのテキストを持つイメージ)データセットのトレーニングに起因する、セマンティック認識タスク全体で優れたゼロショット機能を示している。 この種のマルチモーダル表現はしばしば意味論と知覚的要素を混合し、意味論に特に重点を置いている。 しかし、画像品質評価(IQA)や条件付き画像生成(CIG)といった一般的なタスクでは問題となる可能性がある。 以上の事実に触発された本論文では,画像のゆがみを導くために,アンタングル付きテキストを活用する多モーダル・アンタングル型表現学習フレームワークを提案する。 この目的のために、私たちはまず、画像のための非絡み合った知覚的テキスト記述と意味的テキスト記述からなるI&2Tデータセット(知覚的テキストと意味的テキストを含む画像)を構築した。 次に、アンタングル化されたテキスト記述は、DeCLIPと呼ばれるCLIPの本来の「粗い」特徴空間から純粋知覚表現をアンタングルする監視信号として利用される。 最後に、分離された特徴表現は、画像品質評価(技術品質と美的品質)と条件付き画像生成の両方に使用される。 この2つの課題に対して提案手法の利点を示す実験と比較を行った。 データセット、コード、モデルが利用可能になる。

関連論文リスト

• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Cross-Modal Concept Learning and Inference for Vision-Language Models [31.463771883036607]
  既存の微調整法では、クラス固有のテキスト記述は画像全体と一致している。 我々は、クロスモデル概念学習と推論(CCLI)と呼ばれる新しい手法を開発した。 本手法は,意味テキストの集合を用いて画像から視覚的特徴の集合を自動的に学習する。
  論文  参考訳（メタデータ） (2023-07-28T10:26:28Z)
• ContextCLIP: Contextual Alignment of Image-Text pairs on CLIP visual representations [4.588028371034406]
  画像テキストペアのコンテキストアライメントのための文脈的・コントラスト的学習フレームワークであるContextCLIPを提案する。 共同埋め込み空間において,テキストと画像表現を文脈的に整列させることにより,画像テキストのアライメントを改善することが観察された。 ContextCLIPは,テキスト・画像検索タスクの質的性能が良好であり,分類精度が向上した。
  論文  参考訳（メタデータ） (2022-11-14T05:17:51Z)
• Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
  ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。 以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
  論文  参考訳（メタデータ） (2022-07-25T17:58:16Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。