論文の概要: Blind Multimodal Quality Assessment: A Brief Survey and A Case Study of
Low-light Images
- arxiv url: http://arxiv.org/abs/2303.10369v1
- Date: Sat, 18 Mar 2023 09:04:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 19:57:35.362095
- Title: Blind Multimodal Quality Assessment: A Brief Survey and A Case Study of
Low-light Images
- Title(参考訳): Blind Multimodal Quality Assessment:簡単な調査と低照度画像のケーススタディ
- Authors: Miaohui Wang, Zhuowei Xu, Mai Xu, and Weisi Lin
- Abstract要約: ブラインド画像品質評価(BIQA)は、視覚信号の客観的スコアを自動的に正確に予測することを目的としている。
この分野での最近の発展は、ヒトの主観的評価パターンと矛盾しない一助的解によって支配されている。
主観的評価から客観的スコアへの低照度画像の一意なブラインドマルチモーダル品質評価(BMQA)を提案する。
- 参考スコア(独自算出の注目度): 73.27643795557778
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Blind image quality assessment (BIQA) aims at automatically and accurately
forecasting objective scores for visual signals, which has been widely used to
monitor product and service quality in low-light applications, covering
smartphone photography, video surveillance, autonomous driving, etc. Recent
developments in this field are dominated by unimodal solutions inconsistent
with human subjective rating patterns, where human visual perception is
simultaneously reflected by multiple sensory information (e.g., sight and
hearing). In this article, we present a unique blind multimodal quality
assessment (BMQA) of low-light images from subjective evaluation to objective
score. To investigate the multimodal mechanism, we first establish a multimodal
low-light image quality (MLIQ) database with authentic low-light distortions,
containing image and audio modality pairs. Further, we specially design the key
modules of BMQA, considering multimodal quality representation, latent feature
alignment and fusion, and hybrid self-supervised and supervised learning.
Extensive experiments show that our BMQA yields state-of-the-art accuracy on
the proposed MLIQ benchmark database. In particular, we also build an
independent single-image modality Dark-4K database, which is used to verify its
applicability and generalization performance in mainstream unimodal
applications. Qualitative and quantitative results on Dark-4K show that BMQA
achieves superior performance to existing BIQA approaches as long as a
pre-trained quality semantic description model is provided. The proposed
framework and two databases as well as the collected BIQA methods and
evaluation metrics are made publicly available.
- Abstract(参考訳): ブラインド画像品質評価(biqa: blind image quality assessment)は、視覚信号の客観的スコアを自動的かつ正確に予測することを目的としている。
この分野での最近の発展は、人間の主観的評価パターンと矛盾しない一様解によって支配されており、人間の視覚知覚は複数の感覚情報(例えば視覚と聴覚)によって同時に反映される。
本稿では,主観評価から客観的スコアまで,低光度画像の特異なブラインドマルチモーダル品質評価(bmqa)を提案する。
マルチモーダル機構を検討するために,まず,画像と音声のモダリティペアを含む真の低光歪みを持つマルチモーダル低光画像品質(mliq)データベースを構築した。
さらに, マルチモーダルな品質表現, 潜在機能アライメントと融合, ハイブリッド自己教師型・教師型学習を考慮したBMQAの重要モジュールを特別に設計する。
我々のBMQAは,提案したMLIQベンチマークデータベース上で最先端の精度が得られることを示す。
特に,本研究では,独立な単一画像モダリティDark-4Kデータベースを構築し,その適用性と一般化性能の検証に利用した。
Dark-4Kにおける定性的および定量的な結果から,事前学習された品質意味記述モデルが提供される限り,BMQAは既存のBIQAアプローチよりも優れた性能を発揮することが示された。
提案するフレームワークと2つのデータベース,および収集されたBIQAメソッドと評価指標を公開している。
関連論文リスト
- Q-Align: Teaching LMMs for Visual Scoring via Discrete Text-Defined
Levels [95.44077384918725]
スコアの代わりにテキスト定義のレーティングレベルを持つ大規模マルチモーダリティモデル(LMM)を提案する。
提案したQ-Alignは、画像品質評価(IQA)、画像美学評価(IAA)、映像品質評価(VQA)タスクにおける最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-28T16:10:25Z) - Depicting Beyond Scores: Advancing Image Quality Assessment through
Multi-modal Language Models [29.87548490316521]
本稿では,従来のスコアベース手法の制約を克服するDepicted Image Quality Assessment法(DepictQA)を提案する。
DepictQAは、マルチモーダル大言語モデル(MLLM)を活用することで、画像品質の詳細な、言語ベース、人間ライクな評価を可能にする
本研究は,非参照アプリケーションにおける全参照データセットの有用性を実証し,言語ベースのIQA手法が個人の好みに合わせてカスタマイズできる可能性を示唆している。
論文 参考訳(メタデータ) (2023-12-14T14:10:02Z) - Assessor360: Multi-sequence Network for Blind Omnidirectional Image
Quality Assessment [50.82681686110528]
Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。
ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。
Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-18T13:55:28Z) - Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective [93.56647950778357]
ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。
我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
論文 参考訳(メタデータ) (2023-03-27T07:58:09Z) - Gap-closing Matters: Perceptual Quality Evaluation and Optimization of
Low-Light Image Enhancement [59.137796774008855]
低照度画像強調手法の最適化は、エンドユーザーが認識する視覚的品質によって導かれるべきであるという研究コミュニティの見解が高まりつつある。
主観的品質と客観的品質を体系的に評価するためのギャップ閉鎖フレームワークを提案する。
提案手法の有効性を,画質予測の精度と画像強調の知覚品質の両面から検証する。
論文 参考訳(メタデータ) (2023-02-22T15:57:03Z) - UNO-QA: An Unsupervised Anomaly-Aware Framework with Test-Time
Clustering for OCTA Image Quality Assessment [4.901218498977952]
光コヒーレンス・トモグラフィ・アンギオグラフィー(OCTA)画像品質評価のためのテスト時間クラスタリングを用いた教師なし異常認識フレームワークを提案する。
OCTA画像の品質を定量化するために,特徴埋め込みに基づく低品質表現モジュールを提案する。
我々は、訓練されたOCTA品質表現ネットワークによって抽出されたマルチスケール画像の特徴の次元削減とクラスタリングを行う。
論文 参考訳(メタデータ) (2022-12-20T18:48:04Z) - BIQ2021: A Large-Scale Blind Image Quality Assessment Database [1.3670071336891754]
本稿ではBlind Image Quality Assessment Database, BIQ2021を紹介する。
データセットは、画像品質評価に使用する意図のないもの、意図的に導入した自然な歪みで撮影したもの、オープンソースの画像共有プラットフォームから撮影したもの、の3つのセットで構成されている。
データベースは、主観的スコアリング、人体統計、および各画像の標準偏差に関する情報を含む。
論文 参考訳(メタデータ) (2022-02-08T14:07:38Z) - No-Reference Image Quality Assessment via Feature Fusion and Multi-Task
Learning [29.19484863898778]
ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。
マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。
このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
論文 参考訳(メタデータ) (2020-06-06T05:04:10Z) - Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and
Wild [98.48284827503409]
我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。
我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。
6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
論文 参考訳(メタデータ) (2020-05-28T13:35:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。