論文の概要: Text-Visual Semantic Constrained AI-Generated Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2507.10432v3
• Date: Wed, 16 Jul 2025 15:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 12:30:11.770777
• Title: Text-Visual Semantic Constrained AI-Generated Image Quality Assessment
• Title（参考訳）: テキスト・ビジュアル・セマンティック制約AIによる画像品質評価
• Authors: Qiang Li, Qingsen Yan, Haojian Huang, Peng Wu, Haokui Zhang, Yanning Zhang,
• Abstract要約: 本稿では,AI生成画像におけるテキスト画像の一貫性と知覚歪みの両方を包括的に評価する統合フレームワークを提案する。 このアプローチでは、複数のモデルから重要な機能を統合し、2つのコアモジュールを導入することで、上記の課題に取り組む。 複数のベンチマークデータセットで実施されたテストは、SC-AGIQAが既存の最先端メソッドより優れていることを示している。
• 参考スコア（独自算出の注目度）: 47.575342788480505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advancements in Artificial Intelligence Generated Image (AGI) technology, the accurate assessment of their quality has become an increasingly vital requirement. Prevailing methods typically rely on cross-modal models like CLIP or BLIP to evaluate text-image alignment and visual quality. However, when applied to AGIs, these methods encounter two primary challenges: semantic misalignment and details perception missing. To address these limitations, we propose Text-Visual Semantic Constrained AI-Generated Image Quality Assessment (SC-AGIQA), a unified framework that leverages text-visual semantic constraints to significantly enhance the comprehensive evaluation of both text-image consistency and perceptual distortion in AI-generated images. Our approach integrates key capabilities from multiple models and tackles the aforementioned challenges by introducing two core modules: the Text-assisted Semantic Alignment Module (TSAM), which leverages Multimodal Large Language Models (MLLMs) to bridge the semantic gap by generating an image description and comparing it against the original prompt for a refined consistency check, and the Frequency-domain Fine-Grained Degradation Perception Module (FFDPM), which draws inspiration from Human Visual System (HVS) properties by employing frequency domain analysis combined with perceptual sensitivity weighting to better quantify subtle visual distortions and enhance the capture of fine-grained visual quality details in images. Extensive experiments conducted on multiple benchmark datasets demonstrate that SC-AGIQA outperforms existing state-of-the-art methods. The code is publicly available at https://github.com/mozhu1/SC-AGIQA.
• Abstract（参考訳）: 人工知能生成画像(AGI)技術の急速な進歩により、その品質の正確な評価がますます重要になっている。 一般的な方法は、テキストイメージのアライメントと視覚的品質を評価するために、CLIPやBLIPのようなクロスモーダルモデルに依存する。 しかし、AGIに適用すると、これらの手法は2つの主要な課題に直面する:意味的ミスアライメントと詳細知覚の欠如。 これらの制約に対処するために,テキスト画像の一貫性と知覚歪みの両方を包括的に評価する統合フレームワークである,SC-AGIQA(Text-Visual Semantic Constrained AI-Generated Image Quality Assessment)を提案する。 マルチモーダル大言語モデル(MLLM)を利用して、画像記述を生成して、元のプロンプトと比較することで、セマンティックギャップを橋渡しするテキスト支援セマンティックアライメントモジュール(TSAM)と、人間の視覚システム(HVS)特性からインスピレーションを得て、知覚感度重み付けと組み合わせた周波数領域解析を用いて、画像の微妙な視覚的歪みの定量化ときめ細かな視覚的品質の獲得を図ったFFDPM(Fedquency- Domain Fine-Grained Degradation Perception Module)である。 複数のベンチマークデータセットで実施された大規模な実験は、SC-AGIQAが既存の最先端手法より優れていることを示した。 コードはhttps://github.com/mozhu1/SC-AGIQAで公開されている。

関連論文リスト

• Better Reasoning with Less Data: Enhancing VLMs Through Unified Modality Scoring [26.174094671736686]
  視覚的調律データセットのための品質駆動型データ選択パイプラインを提案する。 クロスモダリティアセスメントフレームワークを統合し、まず各データエントリを適切な視覚言語タスクに割り当てる。 一般的なキャプションとタスク固有のキャプションを生成し、各エントリのアライメント、明度、タスクのラミリティ、テキストコヒーレンス、画像の明度を評価する。
  論文  参考訳（メタデータ） (2025-06-10T04:04:58Z)
• ControlThinker: Unveiling Latent Semantics for Controllable Image Generation through Visual Reasoning [76.2503352325492]
  ControlThinkerは、"Comprehend-then-generate"パラダイムを採用した、新しいフレームワークである。 制御画像からの潜在セマンティクスは、テキストプロンプトを豊かにするためにマイニングされる。 このリッチなセマンティック理解は、追加の複雑な修正を必要とせずに、画像生成をシームレスに支援する。
  論文  参考訳（メタデータ） (2025-06-04T05:56:19Z)
• Language-Guided Visual Perception Disentanglement for Image Quality Assessment and Conditional Image Generation [48.642826318384294]
  CLIPのような対照的な視覚言語モデルは、セマンティック認識タスク間で優れたゼロショット機能を示している。 本稿では, 画像のゆがみを導くために, ゆがみのあるテキストを利用する, マルチモーダルな非絡み付き表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T02:36:48Z)
• M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
  M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。 モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
  論文  参考訳（メタデータ） (2025-02-21T03:05:45Z)
• D-Judge: How Far Are We? Evaluating the Discrepancies Between AI-synthesized Images and Natural Images through Multimodal Guidance [19.760989919485894]
  AI-Natural Image Discrepancy accessing benchmark(textitD-Judge)を導入する。 我々は、テキスト・トゥ・イメージ(T2I)、画像・トゥ・イメージ(I2I)、テキスト・アンド・イメージ(TI2I)プロンプトを用いて、5000の自然画像と4万以上のAIGIを9つのモデルで生成したデータセットであるtextitD-ANIを構築した。 本フレームワークは, 画像品質, セマンティックアライメント, 美的魅力, 下流適用性, 人間の検証の5次元にわたる相違性を評価する。
  論文  参考訳（メタデータ） (2024-12-23T15:08:08Z)
• Vision-Language Consistency Guided Multi-modal Prompt Learning for Blind AI Generated Image Quality Assessment [57.07360640784803]
  視覚言語による多モーダル・プロンプト学習による画像品質評価(AGIQA)を提案する。 具体的には、コントラスト言語-画像事前学習(CLIP)モデルの言語と視覚の分岐に学習可能なテキストと視覚的プロンプトを導入する。 我々は、上記のマルチモーダルプロンプトの最適化を導くために、学習された視覚言語一貫性の知識を用いて、テキストから画像へのアライメント品質予測タスクを設計する。
  論文  参考訳（メタデータ） (2024-06-24T13:45:31Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Improving Scene Text Image Super-resolution via Dual Prior Modulation Network [20.687100711699788]
  Scene Text Image Super- resolution (STISR) はテキスト画像の解像度と可視性を同時に向上することを目的としている。 既存のアプローチは、シーンテキストのセマンティックな決定性の境界であるテキストのグローバルな構造を無視している。 我々の研究はDPMN(Dual Prior Modulation Network)と呼ばれるプラグイン・アンド・プレイ・モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-21T02:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。