論文の概要: Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation

• arxiv url: http://arxiv.org/abs/2309.03472v1
• Date: Thu, 7 Sep 2023 04:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 14:18:04.766851
• Title: Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation
• Title（参考訳）: 生成的スキャンパス表現に基づく360$^\circ$画像の知覚的品質評価
• Authors: Xiangjie Sui, Hanwei Zhu, Xuelin Liu, Yuming Fang, Shiqi Wang, Zhou Wang
• Abstract要約: 360$circ$画像の品質を効果的に推定するための一意な生成性スキャンパス表現(GSR)を導入する。 GSRは、予め定義された視聴条件下で、多義語利用者の知覚経験を集約する。 そこで我々は,高品質マップGSRを学習し,効率的なOIQA計算フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.00063797833765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite substantial efforts dedicated to the design of heuristic models for omnidirectional (i.e., 360$^\circ$) image quality assessment (OIQA), a conspicuous gap remains due to the lack of consideration for the diversity of viewing behaviors that leads to the varying perceptual quality of 360$^\circ$ images. Two critical aspects underline this oversight: the neglect of viewing conditions that significantly sway user gaze patterns and the overreliance on a single viewport sequence from the 360$^\circ$ image for quality inference. To address these issues, we introduce a unique generative scanpath representation (GSR) for effective quality inference of 360$^\circ$ images, which aggregates varied perceptual experiences of multi-hypothesis users under a predefined viewing condition. More specifically, given a viewing condition characterized by the starting point of viewing and exploration time, a set of scanpaths consisting of dynamic visual fixations can be produced using an apt scanpath generator. Following this vein, we use the scanpaths to convert the 360$^\circ$ image into the unique GSR, which provides a global overview of gazed-focused contents derived from scanpaths. As such, the quality inference of the 360$^\circ$ image is swiftly transformed to that of GSR. We then propose an efficient OIQA computational framework by learning the quality maps of GSR. Comprehensive experimental results validate that the predictions of the proposed framework are highly consistent with human perception in the spatiotemporal domain, especially in the challenging context of locally distorted 360$^\circ$ images under varied viewing conditions. The code will be released at https://github.com/xiangjieSui/GSR
• Abstract（参考訳）: 全方位(すなわち、360$^\circ$)画像品質評価(OIQA)のためのヒューリスティックモデルの設計に多大な努力を払っているが、360$^\circ$画像の知覚品質の変化につながる観察行動の多様性が考慮されていないため、目立ったギャップが残っている。 ユーザの視線パターンを著しく低下させる視聴条件の無視と、品質推論のための360$^\circ$画像からの単一のビューポートシーケンスへの過度な依存である。 これらの課題に対処するために,360$^\circ$画像の品質を効果的に推定するための独自の生成型スキャパス表現(GSR)を導入する。 より具体的には、視聴及び探索時間の開始点を特徴とする視聴条件を考えると、動的視覚的固定からなる走査パスのセットをアプ・スキャンパス生成器を用いて作成することができる。 この後、スキャンパスを用いて360$^\circ$画像を独自のGSRに変換し、スキャンパスから得られる視線に焦点を絞ったコンテンツのグローバルな概要を提供する。 これにより、360$^\circ$画像の品質推定はGSRの画像に迅速に変換される。 そこで我々は,GSRの品質マップを学習し,効率的なOIQA計算フレームワークを提案する。 包括的実験により,提案手法の予測は時空間領域における人間の知覚と高度に一致し,特に局所的に歪んだ360$^\circ$画像の様々な視聴条件下での難易度が高いことがわかった。 コードはhttps://github.com/xiangjieSui/GSRで公開される。

関連論文リスト

• 360VOT: A New Benchmark Dataset for Omnidirectional Visual Object Tracking [10.87309734945868]
  360deg画像は、安定かつ長期のシーン知覚にとって重要な全方位視野を提供することができる。 本稿では,視覚的物体追跡のための360度デグ画像について検討し,歪みによる新たな課題について考察する。 今後の研究を促進するため,新しい大規模全方位追跡ベンチマークである360VOTを提案する。
  論文  参考訳（メタデータ） (2023-07-27T05:32:01Z)
• Assessor360: Multi-sequence Network for Blind Omnidirectional Image Quality Assessment [50.82681686110528]
  Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。 ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。 Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T13:55:28Z)
• ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers [17.48330099000856]
  ノン参照360画像品質評価法を提案する。 提案手法は,全方位画像の品質と人間の知覚画像品質の相関関係を推定する。
  論文  参考訳（メタデータ） (2023-03-13T07:48:46Z)
• Blind Omnidirectional Image Quality Assessment: Integrating Local Statistics and Global Semantics [14.586878663223832]
  我々は,低レベル統計量と全方位画像の高レベル意味論のギャップを埋める,S$2$というブラインド/ノン参照OIQA手法を提案する。 次に、重み付けプロセスとともに品質回帰を行い、抽出した品質認識特徴を知覚的品質予測にマッピングする。
  論文  参考訳（メタデータ） (2023-02-24T01:47:13Z)
• Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
  パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。 我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。 本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
  論文  参考訳（メタデータ） (2022-09-19T12:23:34Z)
• ScanGAN360: A Generative Model of Realistic Scanpaths for 360$^{\circ}$ Images [92.8211658773467]
  ScanGAN360は,360ドル周画像のスキャンパスを生成するための,新たな生成逆解析手法である。 我々は,損失関数として動的時間ゆがみの球面適応を利用することにより,これを実現する。 私たちのスキャンパスの品質は、競合するアプローチを大きなマージンで上回り、人間のベースラインとほぼ同等です。
  論文  参考訳（メタデータ） (2021-03-25T15:34:18Z)
• Perceptual Quality Assessment of Omnidirectional Images as Moving Camera Videos [49.217528156417906]
  ユーザの視聴行動やパノラマの知覚的品質を決定するには,2種類のVR視聴条件が不可欠である。 まず、異なる視聴条件下での異なるユーザの視聴行動を用いて、一方向の画像を複数のビデオ表現に変換する。 次に、高度な2次元フルレファレンスビデオ品質モデルを活用して、知覚された品質を計算する。
  論文  参考訳（メタデータ） (2020-05-21T10:03:40Z)
• Visual Question Answering on 360{\deg} Images [96.00046925811515]
  VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。 最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
  論文  参考訳（メタデータ） (2020-01-10T08:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。