論文の概要: QPT V2: Masked Image Modeling Advances Visual Scoring

• arxiv url: http://arxiv.org/abs/2407.16541v1
• Date: Tue, 23 Jul 2024 14:53:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 16:55:42.947818
• Title: QPT V2: Masked Image Modeling Advances Visual Scoring
• Title（参考訳）: QPT V2: マスク付き画像モデリングがビジュアルスコーリングを向上
• Authors: Qizhi Xie, Kun Yuan, Yunpeng Qu, Mingda Wu, Ming Sun, Chao Zhou, Jihong Zhu,
• Abstract要約: Masked Image Modeling (MIM)は、様々なハイレベルなタスクにおいて注目すべき進歩を遂げた。 本研究は,品質と美学の両面からその能力を検討するために,新しい視点を採っている。 品質・美学評価に統一的なソリューションを提供するMIMに基づく最初の事前学習フレームワークであるQPT V2を提案する。
• 参考スコア（独自算出の注目度）: 14.494394623916714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quality assessment and aesthetics assessment aim to evaluate the perceived quality and aesthetics of visual content. Current learning-based methods suffer greatly from the scarcity of labeled data and usually perform sub-optimally in terms of generalization. Although masked image modeling (MIM) has achieved noteworthy advancements across various high-level tasks (e.g., classification, detection etc.). In this work, we take on a novel perspective to investigate its capabilities in terms of quality- and aesthetics-awareness. To this end, we propose Quality- and aesthetics-aware pretraining (QPT V2), the first pretraining framework based on MIM that offers a unified solution to quality and aesthetics assessment. To perceive the high-level semantics and fine-grained details, pretraining data is curated. To comprehensively encompass quality- and aesthetics-related factors, degradation is introduced. To capture multi-scale quality and aesthetic information, model structure is modified. Extensive experimental results on 11 downstream benchmarks clearly show the superior performance of QPT V2 in comparison with current state-of-the-art approaches and other pretraining paradigms. Code and models will be released at \url{https://github.com/KeiChiTse/QPT-V2}.
• Abstract（参考訳）: 品質評価と美学評価は,視覚コンテンツの品質と美学を評価することを目的としている。 現在の学習ベースの手法はラベル付きデータの不足に悩まされており、通常は一般化の面で準最適に実行される。 マスク画像モデリング(MIM)は、様々なハイレベルなタスク(例えば、分類、検出など)において注目すべき進歩を遂げている。 本研究は,品質と美学の両面からその能力を検討するために,新しい視点を採っている。 そこで本研究では,MIMに基づく最初の事前学習フレームワークであるQPT V2(Quality- and Aesthetics-Aware Pretraining)を提案する。 高レベルのセマンティクスときめ細かい詳細を知覚するために、事前学習データをキュレートする。 品質関連および美学関連因子を包括的に包括的に包括的に包括するために、劣化を導入する。 マルチスケールの品質と美的情報をキャプチャするために、モデル構造を変更する。 11のダウンストリームベンチマークによる大規模な実験結果は、現在の最先端アプローチや他の事前学習パラダイムと比較して、QPT V2の優れた性能を示している。 コードとモデルは \url{https://github.com/KeiChiTse/QPT-V2} でリリースされる。

関連論文リスト

• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• Vision Language Modeling of Content, Distortion and Appearance for Image Quality Assessment [20.851102845794244]
  画像品質評価(IQA)の開発には品質評価属性に関する高レベル知識の蒸留が不可欠である 自己監督・視線監督画像QUality Evaluator (SLIQUE) と呼ばれる新しいブラインドIQA(BIQA)モデルを提案する。 SLIQUEは、画像意味内容、歪み特性およびIQAの外観特性に関する高度な知識を得るための、視覚言語と視覚コントラスト表現学習フレームワークである。
  論文  参考訳（メタデータ） (2024-06-14T09:18:28Z)
• Aligning Vision Models with Human Aesthetics in Retrieval: Benchmarks and Algorithms [91.19304518033144]
  検索システムにおける視覚モデルと人間の審美基準の整合を図る。 本研究では、視覚モデルと人間の美学をよりよく整合させるために、視覚モデルを微調整する嗜好に基づく強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:20Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined Levels [95.44077384918725]
  スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。 提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T16:10:25Z)
• Learning Generalizable Perceptual Representations for Data-Efficient No-Reference Image Quality Assessment [7.291687946822539]
  最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。 低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。 両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
  論文  参考訳（メタデータ） (2023-12-08T05:24:21Z)
• Study on the Assessment of the Quality of Experience of Streaming Video [117.44028458220427]
  本稿では,ストリーミング映像のQoEの主観的推定に対する様々な客観的要因の影響について検討する。 本論文では標準的および手作り的特徴を示し,その相関とp値を示す。 SQoE-IIIデータベースは、これまでで最大の、そして最も現実的なデータベースだ。
  論文  参考訳（メタデータ） (2020-12-08T18:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。