論文の概要: NeRF-NQA: No-Reference Quality Assessment for Scenes Generated by NeRF and Neural View Synthesis Methods
- arxiv url: http://arxiv.org/abs/2412.08029v1
- Date: Wed, 11 Dec 2024 02:17:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:03:13.850298
- Title: NeRF-NQA: No-Reference Quality Assessment for Scenes Generated by NeRF and Neural View Synthesis Methods
- Title（参考訳）: NeRF-NQA:NeRFおよびニューラルビュー合成法によるシーンの非参照品質評価
- Authors: Qiang Qu, Hanxue Liang, Xiaoming Chen, Yuk Ying Chung, Yiran Shen,
- Abstract要約: NVS と NeRF の変種から合成した濃密に保存されたシーンに対する最初のノン参照品質評価手法である NeRF-NQA を提案する。
NeRF-NQAは、ビューワイズとポイントワイズの両方のアプローチを統合する共同品質評価戦略を採用している。
ビューワイズアプローチは、各合成ビューの空間的品質と全体ビュー間の一貫性を評価し、ポイントワイズアプローチはシーン表面の角質に焦点を当てる。
- 参考スコア（独自算出の注目度）: 13.403739247879766
- License:
- Abstract: Neural View Synthesis (NVS) has demonstrated efficacy in generating high-fidelity dense viewpoint videos using a image set with sparse views. However, existing quality assessment methods like PSNR, SSIM, and LPIPS are not tailored for the scenes with dense viewpoints synthesized by NVS and NeRF variants, thus, they often fall short in capturing the perceptual quality, including spatial and angular aspects of NVS-synthesized scenes. Furthermore, the lack of dense ground truth views makes the full reference quality assessment on NVS-synthesized scenes challenging. For instance, datasets such as LLFF provide only sparse images, insufficient for complete full-reference assessments. To address the issues above, we propose NeRF-NQA, the first no-reference quality assessment method for densely-observed scenes synthesized from the NVS and NeRF variants. NeRF-NQA employs a joint quality assessment strategy, integrating both viewwise and pointwise approaches, to evaluate the quality of NVS-generated scenes. The viewwise approach assesses the spatial quality of each individual synthesized view and the overall inter-views consistency, while the pointwise approach focuses on the angular qualities of scene surface points and their compound inter-point quality. Extensive evaluations are conducted to compare NeRF-NQA with 23 mainstream visual quality assessment methods (from fields of image, video, and light-field assessment). The results demonstrate NeRF-NQA outperforms the existing assessment methods significantly and it shows substantial superiority on assessing NVS-synthesized scenes without references. An implementation of this paper are available at https://github.com/VincentQQu/NeRF-NQA.
- Abstract（参考訳）: ニューラルビュー合成(NVS)は、スパースビューのイメージセットを用いて高忠実度高密度視点映像を生成する効果を実証した。
しかし、PSNR、SSIM、LPIPSといった既存の品質評価手法は、NVSとNeRFの変種によって合成された濃密な視点を持つシーンには適していないため、NVS合成シーンの空間的・角的側面を含む知覚的品質の獲得に不足することが多い。
さらに,NVS合成シーンの参照品質評価は,高密度な地上真実ビューの欠如により困難である。
例えば、LLFFのようなデータセットはスパースイメージのみを提供し、完全なフル参照アセスメントには不十分である。
上記の問題に対処するため,NVS と NeRF の変種から合成した密集したシーンを対象とした,最初のノン参照品質評価手法である NeRF-NQA を提案する。
NeRF-NQAは、NVS生成シーンの品質を評価するために、ビューワイズとポイントワイズの両方のアプローチを統合する共同品質評価戦略を採用している。
ビューワイズアプローチは、各合成ビューの空間的品質と全体的なビュー間の一貫性を評価し、ポイントワイズアプローチはシーン表面の角質と複合的なポイント間品質に焦点を当てる。
NRF-NQAと23の主眼的視覚的品質評価法(画像,映像,光場評価)を比較した。
以上の結果から,NeRF-NQAは既存の評価手法よりも優れており,NVS合成シーンの参照のない評価においてかなり優れていることが示された。
本論文の実装はhttps://github.com/VincentQQu/NeRF-NQAで公開されている。
関連論文リスト
- GS-QA: Comprehensive Quality Assessment Benchmark for Gaussian Splatting View Synthesis [4.117347527143616]
Gaussian Splatting (GS)はリアルタイム3DシーンレンダリングのためのNeural Radiance Fields (NeRF)に代わる有望な代替手段を提供する。
GSは、NeRFで使用されるニューラルネットワークアプローチと比較して、レンダリング時間の短縮とメモリ消費の削減を実現している。
本稿では,複数の静的GS法による合成映像の評価を目的とした主観的品質評価研究について述べる。
論文 参考訳（メタデータ） (2025-02-18T17:46:57Z) - Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes [6.157597876333952]
GS法とNeRF法の両方を含むNVS技術の品質評価のための2つの主観的な実験を行った。
この研究は、360度デグ、前面、一視点のフォトリアリスティック映像をカバーし、よりリッチで多くのリアルシーンを提供する。
動くオブジェクトを持つ動的シーンにおけるNVSメソッドの影響を調査するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-01-13T10:01:27Z) - NVS-SQA: Exploring Self-Supervised Quality Representation Learning for Neurally Synthesized Scenes without References [55.35182166250742]
我々は,NVS-SQAを提案する。NVS-SQAは,自己スーパービジョンを通じて,非参照品質表現を学習するための品質評価手法である。
従来の自己教師型学習は、主に"same instance, similar representation"仮定と広範なデータセットに依存している。
我々は、学習の効率と効率を改善するために、フォトリアリスティックな手がかりと品質スコアを学習目的として採用する。
論文 参考訳（メタデータ） (2025-01-11T09:12:43Z) - Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity [55.399230250413986]
上流タスクから有害なセマンティックノイズを除去するためのQFM-IQM(Quality-Aware Feature Matching IQA Metric)を提案する。
提案手法は,8つの標準IQAデータセット上での最先端NR-IQA法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2023-12-11T06:50:27Z) - Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods
for Front-Facing Views [10.565297375544414]
本研究は,NVSおよびNeRFの知覚的評価に関する最初の研究である。
NVS法により合成されたビデオの品質を,よく制御された知覚品質評価実験で測定した。
論文 参考訳（メタデータ） (2023-03-24T11:53:48Z) - Reduced-Reference Quality Assessment of Point Clouds via
Content-Oriented Saliency Projection [17.983188216548005]
多くの高密度な3Dポイントクラウドは、従来の画像やビデオではなく、視覚オブジェクトを表現するために利用されてきた。
本稿では, 点雲に対する新しい, 効率的な還元参照品質指標を提案する。
論文 参考訳（メタデータ） (2023-01-18T18:00:29Z) - Neighbourhood Representative Sampling for Efficient End-to-end Video
Quality Assessment [60.57703721744873]
リアルタイムビデオの高解像度化は、VQA(Deep Video Quality Assessment)の効率性と精度のジレンマを示す
そこで本研究では,空間時空間格子型ミニキューブサンプリング(St-GMS)を統一的に提案し,新しいタイプのフラグメントを抽出する。
フラグメントとFANetにより、提案された効率的なエンドツーエンドのFAST-VQAとFasterVQAは、既存のVQAベンチマークよりも大幅にパフォーマンスが向上した。
論文 参考訳（メタデータ） (2022-10-11T11:38:07Z) - SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and
Scene Reconstruction [147.9379707578091]
NeRFmmは、共同最適化タスクを扱うNeRF(Neural Radiance Fields)である。
NeRFmmは正確なシーン合成とポーズ推定を行うが、難しいシーンで完全に注釈付けされたベースラインを上回るのに苦戦している。
放射光マッピングにおける正弦波活性化を利用する正弦波ニューラルレイディアンス場(SiNeRF)と、効率よく光束を選択するための新しい混合領域サンプリング(MRS)を提案する。
論文 参考訳（メタデータ） (2022-10-10T10:47:51Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳（メタデータ） (2021-12-01T13:23:00Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。