論文の概要: IQA-Spider: Unifying Multi-Granularity Image Quality Assessment with Reasoning, Grounding and Referring
- arxiv url: http://arxiv.org/abs/2605.24553v1
- Date: Sat, 23 May 2026 12:39:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.238466
- Title: IQA-Spider: Unifying Multi-Granularity Image Quality Assessment with Reasoning, Grounding and Referring
- Title（参考訳）: IQA-Spider:Reasoning, Grounding and Referringによるマルチグラニュラリティ画像品質評価の統合
- Authors: Xinge Peng, Yiting Lu, Xin Li, Zhibo Chen,
- Abstract要約: IQA-Spiderは画像品質評価(IQA)フレームワークで、推論、グラウンド化、参照を統一し、多粒度品質理解のための単一のLMMベースのフレームワークを提供する。
- 参考スコア（独自算出の注目度）: 17.642234624165685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present IQA-Spider, the first image quality assessment (IQA) framework that unifies reasoning, grounding, and referring into a single LMM-based framework for multi-granularity quality understanding. Existing LMM-based IQA methods typically support only partial perception dimensions, such as quality description and question answering~(\textit{i.e.}, reasoning) or pixel-level grounding. This limitation largely stems from the absence of (i) a unified task and data formulation and (ii) effective optimization paradigms for multi-granularity learning. To address these limitations, we formulate a rigorous four-task paradigm covering global and local quality description, pixel-level grounding, and region-level referring. Based on this formulation, we construct a corresponding IQA dataset with a scalable and automatic annotation pipeline, thereby providing a solid foundation for unified multi-granularity learning. To further enable unified perception, we adopt a conflict-free two-stage design that progressively extends text-level multi-granularity understanding to pixel-level grounding: (i) the first stage equips the model with fine-grained text-level reasoning across multiple IQA tasks, and (ii) the second stage introduces a training-free text-to-point grounding paradigm, which bridges textual semantics and pixel-level perception by mapping token logits to spatial coordinates. Based on these efforts, we achieve IQA-Spider with unified multi-granularity explainable image quality assessment. Extensive experiments across multiple benchmarks demonstrate strong performance, validating the effectiveness and versatility of the proposed formulation and framework.
- Abstract（参考訳）: IQA-Spiderは画像品質評価(IQA)フレームワークで、推論、グラウンド、参照を統一し、多粒度品質理解のための単一のLMMベースのフレームワークを提供する。
既存のLMMベースのIQA法は、通常、品質記述や質問応答(\textit{i.e.}, reasoning)やピクセルレベルのグラウンドなど、部分的な認識次元のみをサポートする。
この制限は、主に欠如に起因する。
一 統一された業務及びデータ定式化及び
(II)多粒度学習のための効果的な最適化パラダイム。
これらの制約に対処するため、グローバルおよびローカルな品質記述、ピクセルレベルの接地、地域レベルの参照を含む厳密な4タスクパラダイムを定式化する。
この定式化に基づいて、スケーラブルで自動的なアノテーションパイプラインを備えた対応するIQAデータセットを構築し、マルチグラニュラリティ学習のための強固な基盤を提供する。
さらに統一的な認識を可能にするために、テキストレベルの多粒度理解をピクセルレベルのグラウンド化に段階的に拡張する、コンフリクトフリーの2段階設計を採用する。
(i)第1段は、複数のIQAタスクにまたがる詳細なテキストレベルの推論をモデルに装備し、
(II)第2段階では,トークンロジットを空間座標にマッピングすることで,テキスト意味論と画素レベルの知覚をブリッジする,学習自由なテキスト・ツー・ポイントグラウンドのパラダイムを導入している。
これらの取り組みに基づき,多粒度説明可能な画像品質評価を統一したIQA-Spiderを実現する。
複数のベンチマークにわたる大規模な実験は、強力な性能を示し、提案された定式化とフレームワークの有効性と汎用性を検証する。
関連論文リスト
- Text-Visual Semantic Constrained AI-Generated Image Quality Assessment [47.575342788480505]
本稿では,AI生成画像におけるテキスト画像の一貫性と知覚歪みの両方を包括的に評価する統合フレームワークを提案する。
このアプローチでは、複数のモデルから重要な機能を統合し、2つのコアモジュールを導入することで、上記の課題に取り組む。
複数のベンチマークデータセットで実施されたテストは、SC-AGIQAが既存の最先端メソッドより優れていることを示している。
論文 参考訳（メタデータ） (2025-07-14T16:21:05Z) - BPCLIP: A Bottom-up Image Quality Assessment from Distortion to Semantics Based on CLIP [18.25854559825818]
比較言語-画像事前学習(CLIP)に基づくボトムアップ画像品質評価手法を提案する。
具体的には,エンコーダを用いて入力画像からマルチスケール特徴を抽出し,ボトムアップ型マルチスケールクロスアテンションモジュールを導入する。
6つの異なる次元に40の画像品質形容詞を組み込むことで、事前学習したCLIPテキストエンコーダが画像固有の品質の表現を生成することができる。
論文 参考訳（メタデータ） (2025-06-22T09:56:57Z) - Teaching LMMs for Image Quality Scoring and Interpreting [71.1335005098584]
Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。
Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。
実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
論文 参考訳（メタデータ） (2025-03-12T09:39:33Z) - M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。
モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
論文 参考訳（メタデータ） (2025-02-21T03:05:45Z) - Grounding-IQA: Grounding Multimodal Language Model for Image Quality Assessment [76.77693558769934]
本稿では,新しい画像品質評価(IQA)タスクパラダイム**grounding-IQA*を紹介する。
このパラダイムはマルチモーダル参照とグラウンドをIQAと統合し、よりきめ細かい品質知覚を実現する。
我々は,GIQA-Benchというよく設計されたベンチマークを開発した。このベンチマークは,記述品質,VQA精度,グラウンド化精度の3点から,グラウンド化-IQA性能を評価する。
論文 参考訳（メタデータ） (2024-11-26T09:03:16Z) - Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。
Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。
コントリビューションの中心は、QGround-100Kデータセットの導入です。
論文 参考訳（メタデータ） (2024-07-24T06:42:46Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Depicting Beyond Scores: Advancing Image Quality Assessment through Multi-modal Language Models [28.194638379354252]
本稿では,従来のスコアベース手法の制約を克服するDepicted Image Quality Assessment法(DepictQA)を提案する。
DepictQAは、マルチモーダルな大規模言語モデルを利用することで、詳細な言語ベースの人間のような画像品質の評価を可能にする。
これらの結果はマルチモーダルIQA法の研究の可能性を示している。
論文 参考訳（メタデータ） (2023-12-14T14:10:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。