論文の概要: Teaching LMMs for Image Quality Scoring and Interpreting

• arxiv url: http://arxiv.org/abs/2503.09197v1
• Date: Wed, 12 Mar 2025 09:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:17.050542
• Title: Teaching LMMs for Image Quality Scoring and Interpreting
• Title（参考訳）: 画像品質評価と解釈のためのLMM教育
• Authors: Zicheng Zhang, Haoning Wu, Ziheng Jia, Weisi Lin, Guangtao Zhai,
• Abstract要約: Q-SiT(Quality Scoring and Interpreting Joint Teaching)は,画像品質のスコアリングと解釈を同時に行うための統合フレームワークである。 Q-SiTは、Q-SiT-miniと共に画像品質スコアリングと解釈タスクを同時に実行する最初のモデルである。 実験結果から,Q-SiTはIQA能力の優れた両タスクにおいて高い性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 71.1335005098584
• License:
• Abstract: Image quality scoring and interpreting are two fundamental components of Image Quality Assessment (IQA). The former quantifies image quality, while the latter enables descriptive question answering about image quality. Traditionally, these two tasks have been addressed independently. However, from the perspective of the Human Visual System (HVS) and the Perception-Decision Integration Model, they are inherently interconnected: interpreting serves as the foundation for scoring, while scoring provides an abstract summary of interpreting. Thus, unifying these capabilities within a single model is both intuitive and logically coherent. In this paper, we propose Q-SiT (Quality Scoring and Interpreting joint Teaching), a unified framework that enables large multimodal models (LMMs) to learn both image quality scoring and interpreting simultaneously. We achieve this by transforming conventional IQA datasets into learnable question-answering datasets and incorporating human-annotated quality interpreting data for training. Furthermore, we introduce an efficient scoring & interpreting balance strategy, which first determines the optimal data mix ratio on lightweight LMMs and then maps this ratio to primary LMMs for fine-tuning adjustment. This strategy not only mitigates task interference and enhances cross-task knowledge transfer but also significantly reduces computational costs compared to direct optimization on full-scale LMMs. With this joint learning framework and corresponding training strategy, we develop Q-SiT, the first model capable of simultaneously performing image quality scoring and interpreting tasks, along with its lightweight variant, Q-SiT-mini. Experimental results demonstrate that Q-SiT achieves strong performance in both tasks with superior generalization IQA abilities.Project page at https://github.com/Q-Future/Q-SiT.
• Abstract（参考訳）: 画像品質の評価と解釈は、画像品質評価(IQA)の2つの基本的な要素である。 前者は画質を定量化し、後者は画質に関する記述的質問応答を可能にする。 伝統的に、これらの2つのタスクは独立して対処されてきた。 しかし、ヒューマン・ビジュアル・システム(HVS)とパーセプション・ディシジョン・インテグレーション・モデル(英語版)の観点からすると、それらは本質的に相互に結びついている。 したがって、1つのモデルでこれらの機能を統一することは直感的かつ論理的に一貫性がある。 本稿では,大規模なマルチモーダルモデル(LMM)が画像品質のスコアリングと解釈の両方を同時に学習することを可能にする統合フレームワークであるQ-SiT(Quality Scoring and Interpreting Joint Teaching)を提案する。 従来のIQAデータセットを学習可能な問合せデータセットに変換し、人間の注釈付き品質解釈データをトレーニングに組み込むことにより、これを実現する。 さらに,まず軽量LMMにおける最適データ混合比を決定し,この比率を一次LMMにマッピングして微調整を行う,効率的なスコアリングと解釈のバランス戦略を提案する。 この戦略はタスク干渉を軽減し、タスク間の知識伝達を促進するだけでなく、フルスケールLMMの直接最適化と比較して計算コストを大幅に削減する。 この共同学習フレームワークとそれに対応するトレーニング戦略を用いて、画像品質スコアリングと解釈タスクを同時に実行可能な最初のモデルであるQ-SiTと、その軽量な変種であるQ-SiT-miniを開発する。 実験結果から,Q-SiT は IQA 能力に優れたタスクで高い性能を発揮することが示された。

関連論文リスト

• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• UniQA: Unified Vision-Language Pre-training for Image Quality and Aesthetic Assessment [23.48816491333345]
  画像品質評価(IQA)と画像審美評価(IAA)は、人間の視覚的品質と美的魅力に対する主観的知覚をシミュレートすることを目的としている。 既存の手法は、異なる学習目的のために、これらのタスクを独立して扱うのが一般的である。 本研究では,2つのタスクの一般的な認識を学習するために,視覚言語による品質と美学の事前学習(UniQA)を提案する。
  論文  参考訳（メタデータ） (2024-06-03T07:40:10Z)
• Adaptive Image Quality Assessment via Teaching Large Multimodal Model to Compare [99.57567498494448]
  我々はLMMに基づくノン参照IQAモデルであるCompare2Scoreを紹介する。 トレーニング中、同じIQAデータセットの画像を比較することで、スケールアップ比較命令を生成する。 9つのIQAデータセットの実験により、Compare2Scoreは、トレーニング中にテキスト定義の比較レベルを効果的にブリッジすることを確認した。
  論文  参考訳（メタデータ） (2024-05-29T17:26:09Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• Blind Image Quality Assessment via Vision-Language Correspondence: A Multitask Learning Perspective [93.56647950778357]
  ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。 我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
  論文  参考訳（メタデータ） (2023-03-27T07:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。