Fugu-MT 論文翻訳(概要): Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video

論文の概要: Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video

arxiv url: http://arxiv.org/abs/2111.09503v1
Date: Thu, 18 Nov 2021 03:45:13 GMT
ステータス: 処理完了
システム内更新日: 2021-11-19 14:19:24.965980
Title: Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video
Title（参考訳）: ピクセル、フレーム、ビデオから徐々に学習する360{\deg}ビデオのブラインドvqa
Authors: Li Yang, Mai Xu, Shengxi Li, Yichen Guo, Zulin Wang
Abstract要約: 360度ビデオにおけるブラインド視覚品質評価(BVQA)は,没入型マルチメディアシステムの最適化において重要な役割を担っている。本稿では,球面映像品質に対する人間の知覚の進歩的パラダイムを考察する。画素,フレーム,ビデオから段階的に学習することで,360度ビデオのための新しいBVQA手法(ProVQA)を提案する。
参考スコア（独自算出の注目度）: 66.57045901742922
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Blind visual quality assessment (BVQA) on 360{\textdegree} video plays a key role in optimizing immersive multimedia systems. When assessing the quality of 360{\textdegree} video, human tends to perceive its quality degradation from the viewport-based spatial distortion of each spherical frame to motion artifact across adjacent frames, ending with the video-level quality score, i.e., a progressive quality assessment paradigm. However, the existing BVQA approaches for 360{\textdegree} video neglect this paradigm. In this paper, we take into account the progressive paradigm of human perception towards spherical video quality, and thus propose a novel BVQA approach (namely ProVQA) for 360{\textdegree} video via progressively learning from pixels, frames and video. Corresponding to the progressive learning of pixels, frames and video, three sub-nets are designed in our ProVQA approach, i.e., the spherical perception aware quality prediction (SPAQ), motion perception aware quality prediction (MPAQ) and multi-frame temporal non-local (MFTN) sub-nets. The SPAQ sub-net first models the spatial quality degradation based on spherical perception mechanism of human. Then, by exploiting motion cues across adjacent frames, the MPAQ sub-net properly incorporates motion contextual information for quality assessment on 360{\textdegree} video. Finally, the MFTN sub-net aggregates multi-frame quality degradation to yield the final quality score, via exploring long-term quality correlation from multiple frames. The experiments validate that our approach significantly advances the state-of-the-art BVQA performance on 360{\textdegree} video over two datasets, the code of which has been public in \url{https://github.com/yanglixiaoshen/ProVQA.}
Abstract（参考訳）: 360{\textdegree}ビデオのblind visual quality assessment (bvqa)は没入型マルチメディアシステムの最適化において重要な役割を果たす。 360{\textdegree}ビデオの品質を評価するとき、人間は、各球面フレームのビューポートに基づく空間的歪みから、隣接するフレーム間のモーションアーティファクトまでの品質劣化を知覚し、ビデオレベルの品質スコア、すなわち進歩的品質評価パラダイムで終わる傾向がある。しかし、既存のBVQAによる360度ビデオのアプローチはこのパラダイムを無視している。本稿では, 球面映像品質に対する人間の知覚の進歩的パラダイムを考慮し, 画素, フレーム, ビデオから段階的に学習する360度ビデオのための新しいBVQAアプローチ(別名ProVQA)を提案する。 ProVQAアプローチでは,画素,フレーム,ビデオの進行学習に対応して,球面認識品質予測(SPAQ),運動認識品質予測(MPAQ),マルチフレーム時間非局所(MFTN)サブネット(MFTN)という3つのサブネットが設計されている。 SPAQサブネットは、まず人間の球面知覚機構に基づいて空間的品質劣化をモデル化する。そして、隣接フレーム間のモーションキューを活用して、mpaqサブネットは360{\textdegree}ビデオの品質評価のためにモーションコンテキスト情報を適切に組み込む。最後に、MFTNサブネットは、複数のフレームから長期的な品質相関を探索することにより、マルチフレームの品質劣化を集約し、最終的な品質スコアを得る。実験により,360{\textdegree}ビデオ上での最先端のBVQA性能は2つのデータセットで著しく向上し,そのコードは \url{https://github.com/yanglixiaoshen/ProVQAで公開されている。 }

論文の概要: Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video

関連論文リスト