論文の概要: Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods
for Front-Facing Views
- arxiv url: http://arxiv.org/abs/2303.15206v3
- Date: Tue, 24 Oct 2023 14:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 01:25:38.659034
- Title: Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods
for Front-Facing Views
- Title（参考訳）: 正面視のためのNeRFおよびニューラルビュー合成法の知覚的品質評価
- Authors: Hanxue Liang, Tianhao Wu, Param Hanji, Francesco Banterle, Hongyun
Gao, Rafal Mantiuk, Cengiz Oztireli
- Abstract要約: 本研究は,NVSおよびNeRFの知覚的評価に関する最初の研究である。
NVS法により合成されたビデオの品質を,よく制御された知覚品質評価実験で測定した。
- 参考スコア（独自算出の注目度）: 10.565297375544414
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Neural view synthesis (NVS) is one of the most successful techniques for
synthesizing free viewpoint videos, capable of achieving high fidelity from
only a sparse set of captured images. This success has led to many variants of
the techniques, each evaluated on a set of test views typically using image
quality metrics such as PSNR, SSIM, or LPIPS. There has been a lack of research
on how NVS methods perform with respect to perceived video quality. We present
the first study on perceptual evaluation of NVS and NeRF variants. For this
study, we collected two datasets of scenes captured in a controlled lab
environment as well as in-the-wild. In contrast to existing datasets, these
scenes come with reference video sequences, allowing us to test for temporal
artifacts and subtle distortions that are easily overlooked when viewing only
static images. We measured the quality of videos synthesized by several NVS
methods in a well-controlled perceptual quality assessment experiment as well
as with many existing state-of-the-art image/video quality metrics. We present
a detailed analysis of the results and recommendations for dataset and metric
selection for NVS evaluation.
- Abstract（参考訳）: ニューラルビュー合成(neural view synthesis, nvs)は、自由視点映像を合成する最も成功した手法の1つであり、撮像された画像の集合から高い忠実度を達成することができる。
この成功は、PSNR、SSIM、LPIPSといった画像品質の指標を用いて、テストビューのセットで評価される、多くのバリエーションを生み出した。
nvsの手法がビデオ品質に対してどのように機能するかについては、研究が不足している。
本研究は,NVSおよびNeRFの知覚的評価に関する最初の研究である。
本研究では,制御された実験室環境で撮影されたシーンの2つのデータセットと,室内のシーンを収集した。
既存のデータセットとは対照的に、これらのシーンには参照ビデオシーケンスがあり、静的画像のみを見る際に容易に見過ごされる時間的アーティファクトや微妙な歪みをテストできます。
我々は,NVS法によって合成された映像の品質をよく制御された知覚品質評価実験で測定した。
本稿では,nvs評価のためのデータセットとメトリック選択の結果と推奨結果の詳細な分析を行う。
関連論文リスト
- Analysis and Benchmarking of Extending Blind Face Image Restoration to Videos [99.42805906884499]
まず,実世界の低品質顔画像ベンチマーク(RFV-LQ)を導入し,画像に基づく顔復元アルゴリズムの評価を行った。
次に、失明顔画像復元アルゴリズムを劣化顔ビデオに拡張する際の利点と課題を網羅的に分析する。
分析では、主に顔成分の顕著なジッタとフレーム間のノイズシェープの2つの側面に分類する。
論文 参考訳（メタデータ） (2024-10-15T17:53:25Z) - CrossScore: Towards Multi-View Image Evaluation and Scoring [24.853612457257697]
相互参照画像品質評価法は画像評価景観のギャップを埋める。
本手法は,地上の真理参照を必要とせず,精度の高い画像品質評価を可能にする。
論文 参考訳（メタデータ） (2024-04-22T17:59:36Z) - Study of the effect of Sharpness on Blind Video Quality Assessment [0.0]
本研究では,BVQAのようなモデルに対するシャープネスの影響について検討する。
シャープネス(Sharpness)は、ビデオ画像の明快さと細部を測る尺度である。
本研究では,CVD2014などの既存の映像品質データベースを用いた。
論文 参考訳（メタデータ） (2024-04-06T16:10:48Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Novel View Synthesis with View-Dependent Effects from a Single Image [35.85973300177698]
まず、単一画像に基づく新規ビュー合成(NVS)問題に対するビュー依存効果を検討する。
我々は、NVSにおけるカメラモーションの先行性を利用して、視覚に依存した外観や効果(VDE)をシーン内の負の相違としてモデル化することを提案する。
本稿では,提案手法がVDEを用いてNVSを学習できることを示すとともに,RealEstate10kおよびMannequinChallengeデータセット上でのSOTAシングルビューNVS法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-12-13T11:29:47Z) - Unmasking Deepfakes: Masked Autoencoding Spatiotemporal Transformers for
Enhanced Video Forgery Detection [19.432851794777754]
本稿では,自己教師型マスク自動符号化装置によって事前訓練された視覚変換器を用いたディープフェイク映像の検出手法を提案する。
提案手法は,ビデオの個々のRGBフレームから空間情報を学習することに焦点を当てた2つのコンポーネントで構成され,一方は連続するフレームから生成された光フロー場から時間的整合性情報を学習する。
論文 参考訳（メタデータ） (2023-06-12T05:49:23Z) - Evaluating Point Cloud from Moving Camera Videos: A No-Reference Metric [58.309735075960745]
本稿では,ビデオ品質評価(VQA)手法を用いて,ポイントクラウド品質評価(PCQA)タスクの処理方法について検討する。
捉えたビデオは、いくつかの円形の経路を通して、点雲の周りでカメラを回転させて生成する。
トレーニング可能な2D-CNNモデルと事前学習された3D-CNNモデルを用いて、選択したキーフレームとビデオクリップから空間的・時間的品質認識特徴を抽出する。
論文 参考訳（メタデータ） (2022-08-30T08:59:41Z) - Exploring the Effectiveness of Video Perceptual Representation in Blind
Video Quality Assessment [55.65173181828863]
表現の図形的形態を記述することにより、時間的歪みを測定するための時間的知覚品質指標(TPQI)を提案する。
実験の結果,TPQIは主観的時間的品質を予測する効果的な方法であることがわかった。
論文 参考訳（メタデータ） (2022-07-08T07:30:51Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳（メタデータ） (2022-06-29T15:22:01Z) - A No-reference Quality Assessment Metric for Point Cloud Based on
Captured Video Sequences [40.46566408312466]
キャプチャーされたビデオシーケンスに基づいて,色付き点雲の非参照品質評価指標を提案する。
実験の結果,本手法はPCQAの基準値と非参照PCQAの基準値のほとんどより優れていた。
論文 参考訳（メタデータ） (2022-06-09T06:42:41Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。