論文の概要: Light-VQA: A Multi-Dimensional Quality Assessment Model for Low-Light
Video Enhancement
- arxiv url: http://arxiv.org/abs/2305.09512v2
- Date: Sun, 6 Aug 2023 13:36:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 22:51:26.546556
- Title: Light-VQA: A Multi-Dimensional Quality Assessment Model for Low-Light
Video Enhancement
- Title（参考訳）: light-vqa:低光度ビデオエンハンスメントのための多次元品質評価モデル
- Authors: Yunlong Dong, Xiaohong Liu, Yixuan Gao, Xunchu Zhou, Tao Tan, Guangtao
Zhai
- Abstract要約: 本稿では,低照度映像強調(LLVE)に特化した品質評価モデルであるLight-VQAを提案する。
明るさとノイズが低照度VQAに与える影響が最も大きいため、我々はそれに対応する機能を手作りし、深層学習に基づく意味的特徴と統合する。
我々の実験は、LLVE-QAおよび公開データセット上の現在のステートオフ・ザ・アート(SOTA)に対して、我々のLight-VQAが最高のパフォーマンスを達成することを示す。
- 参考スコア（独自算出の注目度）: 29.675736754133602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, Users Generated Content (UGC) videos becomes ubiquitous in our
daily lives. However, due to the limitations of photographic equipments and
techniques, UGC videos often contain various degradations, in which one of the
most visually unfavorable effects is the underexposure. Therefore,
corresponding video enhancement algorithms such as Low-Light Video Enhancement
(LLVE) have been proposed to deal with the specific degradation. However,
different from video enhancement algorithms, almost all existing Video Quality
Assessment (VQA) models are built generally rather than specifically, which
measure the quality of a video from a comprehensive perspective. To the best of
our knowledge, there is no VQA model specially designed for videos enhanced by
LLVE algorithms. To this end, we first construct a Low-Light Video Enhancement
Quality Assessment (LLVE-QA) dataset in which 254 original low-light videos are
collected and then enhanced by leveraging 8 LLVE algorithms to obtain 2,060
videos in total. Moreover, we propose a quality assessment model specialized in
LLVE, named Light-VQA. More concretely, since the brightness and noise have the
most impact on low-light enhanced VQA, we handcraft corresponding features and
integrate them with deep-learning-based semantic features as the overall
spatial information. As for temporal information, in addition to
deep-learning-based motion features, we also investigate the handcrafted
brightness consistency among video frames, and the overall temporal information
is their concatenation. Subsequently, spatial and temporal information is fused
to obtain the quality-aware representation of a video. Extensive experimental
results show that our Light-VQA achieves the best performance against the
current State-Of-The-Art (SOTA) on LLVE-QA and public dataset. Dataset and
Codes can be found at https://github.com/wenzhouyidu/Light-VQA.
- Abstract（参考訳）: 近年,UGC(Users Generated Content)ビデオが日常的に普及している。
しかし、写真機器や技術が限られているため、UGCビデオには様々な劣化があり、最も視覚的に好ましくない効果の1つが露出不足である。
そこで,低照度映像強調 (LLVE) などの対応する映像強調アルゴリズムが,特定の劣化に対処するために提案されている。
しかし、ビデオエンハンスメントアルゴリズムとは異なり、既存のビデオ品質アセスメント(VQA)モデルのほとんどは、包括的視点からビデオの品質を測定するために特別ではなく、一般的に構築されている。
我々の知る限り、LLVEアルゴリズムによって強化されたビデオ用に特別に設計されたVQAモデルは存在しない。
この目的のために,まず,2,060本のLLVEアルゴリズムを用いて,254本のオリジナル低照度映像を収集し,拡張する低照度映像改善品質評価(LLVE-QA)データセットを構築した。
また, LLVEに特化した品質評価モデルであるLight-VQAを提案する。
より具体的には、明るさと雑音が低照度VQAに与える影響が最も大きいため、我々は対応する特徴を手作りし、空間情報全体として深層学習に基づく意味的特徴と統合する。
時間情報に関しては,深層学習に基づく動作特徴に加えて,映像フレーム間の手作りの輝度の一貫性や,時間情報全体の結合性についても検討した。
その後、空間情報と時間情報を融合して映像の品質認識表現を得る。
LLVE-QAおよび公開データセット上での現在のステートオフ・ザ・アート(SOTA)に対して,我々のLight-VQAが最高の性能を発揮することを示す。
DatasetとCodesはhttps://github.com/wenzhouyidu/Light-VQAで見ることができる。
関連論文リスト
- VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM [81.15525024145697]
ビデオ大言語モデル (Video Large Language Models, ビデオLLM) は近年, 一般的なビデオ理解において顕著な能力を示した。
しかし、それらは主に全体論的理解に焦点を当て、きめ細かい空間的・時間的詳細を捉えるのに苦労している。
我々は,高精細度空間時間映像理解のためのビデオLLMを実現するために,VideoRefer Suiteを導入した。
論文 参考訳（メタデータ） (2024-12-31T18:56:46Z) - LMM-VQA: Advancing Video Quality Assessment with Large Multimodal Models [53.64461404882853]
ビデオ品質評価(VQA)アルゴリズムは、ストリーミングビデオの品質を監視し最適化するために必要である。
本稿では,LMM-VQA(Large Multi-Modal Video Quality Assessment)モデルを提案する。
論文 参考訳（メタデータ） (2024-08-26T04:29:52Z) - Benchmarking Multi-dimensional AIGC Video Quality Assessment: A Dataset and Unified Model [56.03592388332793]
主観的・客観的な品質評価の観点からAIGC-VQA問題を考察する。
主観的観点からは,2,808本のAIGCビデオからなる大規模映像品質評価(LGVQ)データセットを構築した。
我々は,AIGCビデオの知覚的品質を,空間的品質,時間的品質,テキスト・ビデオアライメントの3つの重要な次元から評価した。
本稿では,AIGCビデオの多次元品質を正確に評価するUnify Generated Video Quality Assessment (UGVQ)モデルを提案する。
論文 参考訳（メタデータ） (2024-07-31T07:54:26Z) - CLIPVQA:Video Quality Assessment via CLIP [56.94085651315878]
VQA問題(CLIPVQA)に対する効率的なCLIPベースのトランスフォーマー手法を提案する。
提案したCLIPVQAは、新しい最先端のVQAパフォーマンスを実現し、既存のベンチマークVQAメソッドよりも最大で37%の汎用性を実現している。
論文 参考訳（メタデータ） (2024-07-06T02:32:28Z) - BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance [37.216574207361255]
ビデオ露光補正アルゴリズム、低照度映像強調法(LLVE)、過剰露光映像再生法(OEVR)が提案されている。
LLVE-QAデータセットを過剰に露出したビデオとそれに対応する修正バージョンで拡張することで、Light-VQAの作業を拡張する。
また,VEC評価に特化したVQAモデルであるLight-VQA+を提案する。
論文 参考訳（メタデータ） (2024-05-06T10:26:06Z) - BVI-Lowlight: Fully Registered Benchmark Dataset for Low-Light Video Enhancement [44.1973928137492]
本稿では,2つの低照度条件下での様々な動きシナリオにおける40のシーンからなる,新しい低照度映像データセットを提案する。
我々は、プログラム可能な電動ドリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供する。
画像ベースのポストプロセッシングによりそれらを洗練し、異なる光レベルにおけるフレームの画素ワイドアライメントを保証する。
論文 参考訳（メタデータ） (2024-02-03T00:40:22Z) - Encoding in the Dark Grand Challenge: An Overview [60.9261003831389]
低照度映像シーケンスの符号化に関するグランドチャレンジを提案する。
VVCは、エンコーディングに先立って単にビデオソースをデノベートするよりも高いパフォーマンスを達成する。
後処理画像強調法を用いることで、ビデオストリームの品質をさらに向上することができる。
論文 参考訳（メタデータ） (2020-05-07T08:22:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。