論文の概要: Blind Multimodal Quality Assessment: A Brief Survey and A Case Study of Low-light Images

• arxiv url: http://arxiv.org/abs/2303.10369v1
• Date: Sat, 18 Mar 2023 09:04:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:57:35.362095
• Title: Blind Multimodal Quality Assessment: A Brief Survey and A Case Study of Low-light Images
• Title（参考訳）: Blind Multimodal Quality Assessment:簡単な調査と低照度画像のケーススタディ
• Authors: Miaohui Wang, Zhuowei Xu, Mai Xu, and Weisi Lin
• Abstract要約: ブラインド画像品質評価(BIQA)は、視覚信号の客観的スコアを自動的に正確に予測することを目的としている。 この分野での最近の発展は、ヒトの主観的評価パターンと矛盾しない一助的解によって支配されている。 主観的評価から客観的スコアへの低照度画像の一意なブラインドマルチモーダル品質評価(BMQA)を提案する。
• 参考スコア（独自算出の注目度）: 73.27643795557778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Blind image quality assessment (BIQA) aims at automatically and accurately forecasting objective scores for visual signals, which has been widely used to monitor product and service quality in low-light applications, covering smartphone photography, video surveillance, autonomous driving, etc. Recent developments in this field are dominated by unimodal solutions inconsistent with human subjective rating patterns, where human visual perception is simultaneously reflected by multiple sensory information (e.g., sight and hearing). In this article, we present a unique blind multimodal quality assessment (BMQA) of low-light images from subjective evaluation to objective score. To investigate the multimodal mechanism, we first establish a multimodal low-light image quality (MLIQ) database with authentic low-light distortions, containing image and audio modality pairs. Further, we specially design the key modules of BMQA, considering multimodal quality representation, latent feature alignment and fusion, and hybrid self-supervised and supervised learning. Extensive experiments show that our BMQA yields state-of-the-art accuracy on the proposed MLIQ benchmark database. In particular, we also build an independent single-image modality Dark-4K database, which is used to verify its applicability and generalization performance in mainstream unimodal applications. Qualitative and quantitative results on Dark-4K show that BMQA achieves superior performance to existing BIQA approaches as long as a pre-trained quality semantic description model is provided. The proposed framework and two databases as well as the collected BIQA methods and evaluation metrics are made publicly available.
• Abstract（参考訳）: ブラインド画像品質評価(biqa: blind image quality assessment)は、視覚信号の客観的スコアを自動的かつ正確に予測することを目的としている。 この分野での最近の発展は、人間の主観的評価パターンと矛盾しない一様解によって支配されており、人間の視覚知覚は複数の感覚情報(例えば視覚と聴覚)によって同時に反映される。 本稿では,主観評価から客観的スコアまで,低光度画像の特異なブラインドマルチモーダル品質評価(bmqa)を提案する。 マルチモーダル機構を検討するために,まず,画像と音声のモダリティペアを含む真の低光歪みを持つマルチモーダル低光画像品質(mliq)データベースを構築した。 さらに, マルチモーダルな品質表現, 潜在機能アライメントと融合, ハイブリッド自己教師型・教師型学習を考慮したBMQAの重要モジュールを特別に設計する。 我々のBMQAは,提案したMLIQベンチマークデータベース上で最先端の精度が得られることを示す。 特に,本研究では,独立な単一画像モダリティDark-4Kデータベースを構築し,その適用性と一般化性能の検証に利用した。 Dark-4Kにおける定性的および定量的な結果から,事前学習された品質意味記述モデルが提供される限り,BMQAは既存のBIQAアプローチよりも優れた性能を発揮することが示された。 提案するフレームワークと2つのデータベース,および収集されたBIQAメソッドと評価指標を公開している。

関連論文リスト

• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• Descriptive Image Quality Assessment in the Wild [25.503311093471076]
  VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。 野生における画像品質評価(DepictQA-Wild)について紹介する。 本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
  論文  参考訳（メタデータ） (2024-05-29T07:49:15Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Depicting Beyond Scores: Advancing Image Quality Assessment through Multi-modal Language Models [28.194638379354252]
  本稿では,従来のスコアベース手法の制約を克服するDepicted Image Quality Assessment法(DepictQA)を提案する。 DepictQAは、マルチモーダルな大規模言語モデルを利用することで、詳細な言語ベースの人間のような画像品質の評価を可能にする。 これらの結果はマルチモーダルIQA法の研究の可能性を示している。
  論文  参考訳（メタデータ） (2023-12-14T14:10:02Z)
• Assessor360: Multi-sequence Network for Blind Omnidirectional Image Quality Assessment [50.82681686110528]
  Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。 ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。 Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T13:55:28Z)
• UNO-QA: An Unsupervised Anomaly-Aware Framework with Test-Time Clustering for OCTA Image Quality Assessment [4.901218498977952]
  光コヒーレンス・トモグラフィ・アンギオグラフィー(OCTA)画像品質評価のためのテスト時間クラスタリングを用いた教師なし異常認識フレームワークを提案する。 OCTA画像の品質を定量化するために,特徴埋め込みに基づく低品質表現モジュールを提案する。 我々は、訓練されたOCTA品質表現ネットワークによって抽出されたマルチスケール画像の特徴の次元削減とクラスタリングを行う。
  論文  参考訳（メタデータ） (2022-12-20T18:48:04Z)
• No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning [29.19484863898778]
  ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。 マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。 このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
  論文  参考訳（メタデータ） (2020-06-06T05:04:10Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。