論文の概要: ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers

• arxiv url: http://arxiv.org/abs/2303.06907v1
• Date: Mon, 13 Mar 2023 07:48:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 16:05:14.809153
• Title: ST360IQ: No-Reference Omnidirectional Image Quality Assessment with Spherical Vision Transformers
• Title（参考訳）: ST360IQ:球面視覚変換器による非参照全方位画像品質評価
• Authors: Nafiseh Jabbari Tofighi, Mohamed Hedi Elfkir, Nevrez Imamoglu, Cagri Ozcinar, Erkut Erdem, Aykut Erdem
• Abstract要約: ノン参照360画像品質評価法を提案する。 提案手法は,全方位画像の品質と人間の知覚画像品質の相関関係を推定する。
• 参考スコア（独自算出の注目度）: 17.48330099000856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional images, aka 360 images, can deliver immersive and interactive visual experiences. As their popularity has increased dramatically in recent years, evaluating the quality of 360 images has become a problem of interest since it provides insights for capturing, transmitting, and consuming this new media. However, directly adapting quality assessment methods proposed for standard natural images for omnidirectional data poses certain challenges. These models need to deal with very high-resolution data and implicit distortions due to the spherical form of the images. In this study, we present a method for no-reference 360 image quality assessment. Our proposed ST360IQ model extracts tangent viewports from the salient parts of the input omnidirectional image and employs a vision-transformers based module processing saliency selective patches/tokens that estimates a quality score from each viewport. Then, it aggregates these scores to give a final quality score. Our experiments on two benchmark datasets, namely OIQA and CVIQ datasets, demonstrate that as compared to the state-of-the-art, our approach predicts the quality of an omnidirectional image correlated with the human-perceived image quality. The code has been available on https://github.com/Nafiseh-Tofighi/ST360IQ
• Abstract（参考訳）: 360度画像は、没入的でインタラクティブな視覚体験を提供する。 近年、その人気が劇的に高まる中、360度画像の品質評価は、この新メディアを捉え、送信し、消費するための洞察を提供するため、関心の対象となっている。 しかし、全方位データに対する標準自然画像に対して提案した品質評価手法を直接適用することは、ある種の課題をもたらす。 これらのモデルは、画像の球面形状による非常に高解像度なデータと暗黙的な歪みを扱う必要がある。 本研究では,無参照360度画像品質評価手法を提案する。 提案したST360IQモデルは、入力全方位画像の有向部分から有向ビューポートを抽出し、各ビューポートから品質スコアを推定する視覚変換器に基づくモジュール処理サリエンシ選択パッチ/トークンを用いる。 そして、これらのスコアを集約して最終的な品質スコアを与える。 OIQA と CVIQ の2つのベンチマークデータセットを用いた実験により,本手法は最先端と比較して,全方位画像の品質が人間の知覚した画質と相関していることが実証された。 コードはhttps://github.com/nafiseh-tofighi/st360iqで入手できる。

関連論文リスト

• Perceptual Depth Quality Assessment of Stereoscopic Omnidirectional Images [10.382801621282228]
  立体視全方位画像の高能率非参照(NR)深度品質評価のための目標品質評価モデルDQIを開発した。 人間の視覚システム(HVS)の知覚特性に触発されたDQIは,多色チャネル,適応型ビューポート選択,眼間不一致の特徴を基盤として構築されている。
  論文  参考訳（メタデータ） (2024-08-19T16:28:05Z)
• AIGCOIQA2024: Perceptual Quality Assessment of AI Generated Omnidirectional Images [70.42666704072964]
  我々はAI生成の全方位画像IQAデータベースAIIGCOIQA2024を構築した。 3つの視点から人間の視覚的嗜好を評価するために、主観的IQA実験を行った。 我々は,データベース上での最先端IQAモデルの性能を評価するためのベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-04-01T10:08:23Z)
• Perceptual Quality Assessment of 360$^\circ$ Images Based on Generative Scanpath Representation [40.00063797833765]
  360$circ$画像の品質を効果的に推定するための一意な生成性スキャンパス表現(GSR)を導入する。 GSRは、予め定義された視聴条件下で、多義語利用者の知覚経験を集約する。 そこで我々は,高品質マップGSRを学習し,効率的なOIQA計算フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-07T04:10:30Z)
• Assessor360: Multi-sequence Network for Blind Omnidirectional Image Quality Assessment [50.82681686110528]
  Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。 ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。 Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-18T13:55:28Z)
• End-to-end deep multi-score model for No-reference stereoscopic image quality assessment [6.254148286968409]
  我々は、深層多スコア畳み込みニューラルネットワーク(CNN)を用いて、参照なしで立体画像の品質を推定する。 まず、左の視点の質を予測し、次に、左の視点の質を予測し、第3と第4に、ステレオ視点の質とグローバルな品質をそれぞれ予測し、グローバルスコアを究極の品質とする。
  論文  参考訳（メタデータ） (2022-11-02T16:45:35Z)
• Perceptual Quality Assessment of Omnidirectional Images [81.76416696753947]
  16のソース画像と320の歪み画像を含む全方位IQA (OIQA) データベースを最初に構築する。 そして、VR環境におけるOIQAデータベース上で主観的品質評価研究を行う。 原画像と歪んだ全方位画像、主観的品質評価、および頭部と眼の動きデータを合わせてOIQAデータベースを構成する。
  論文  参考訳（メタデータ） (2022-07-06T13:40:38Z)
• Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
  知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。 本研究では,変換器を用いた全参照IQAモデルの性能について検討する。 また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T10:21:08Z)
• Blind VQA on 360{\deg} Video via Progressively Learning from Pixels, Frames and Video [66.57045901742922]
  360度ビデオにおけるブラインド視覚品質評価(BVQA)は,没入型マルチメディアシステムの最適化において重要な役割を担っている。 本稿では,球面映像品質に対する人間の知覚の進歩的パラダイムを考察する。 画素,フレーム,ビデオから段階的に学習することで,360度ビデオのための新しいBVQA手法(ProVQA)を提案する。
  論文  参考訳（メタデータ） (2021-11-18T03:45:13Z)
• Perceptual Image Quality Assessment with Transformers [4.005576542371173]
  本論文では,フルリファレンス画像品質評価タスクにトランスアーキテクチャを適用した画像品質変換器(IQT)を提案する。 畳み込みニューラルネットワークのバックボーンを用いて,各入力画像から知覚的特徴表現を抽出する。 提案するiqtは,ntire 2021画像品質評価課題の参加者13名中,第1位にランクされた。
  論文  参考訳（メタデータ） (2021-04-30T02:45:29Z)
• No-Reference Quality Assessment for 360-degree Images by Analysis of Multi-frequency Information and Local-global Naturalness [26.614657212889398]
  360度・全方位画像(OIs)は、仮想現実(VR)の普及により注目されている。 マルチ周波数情報と局所Global Naturalness(MFILGN)を用いた新しい非参照全方位画像品質評価アルゴリズム(NR OIQA)を提案する。 2つのOIQAデータベースの実験結果は、提案されたMFILGNが最先端のアプローチを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-02-22T22:52:35Z)
• Visual Question Answering on 360{\deg} Images [96.00046925811515]
  VQA 360は、360度画像上で視覚的な質問に答える新しいタスクである。 最初のVQA 360データセットを収集し、様々な質問タイプに対して、約17,000の現実世界の画像検索用トリプルを含む。
  論文  参考訳（メタデータ） (2020-01-10T08:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。