論文の概要: Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2501.08072v1
• Date: Mon, 13 Jan 2025 10:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:28:29.888451
• Title: Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes
• Title（参考訳）: 新規視点合成の人間の知覚評価:動的場面におけるガウス・スプレイティングとNeRFの主観的品質評価
• Authors: Yuhang Zhang, Joshua Maraval, Zhengyu Zhang, Nicolas Ramin, Shishun Tian, Lu Zhang,
• Abstract要約: GS法とNeRF法の両方を含むNVS技術の品質評価のための2つの主観的な実験を行った。 この研究は、360度デグ、前面、一視点のフォトリアリスティック映像をカバーし、よりリッチで多くのリアルシーンを提供する。 動くオブジェクトを持つ動的シーンにおけるNVSメソッドの影響を調査するのは、これが初めてである。
• 参考スコア（独自算出の注目度）: 6.157597876333952
• License:
• Abstract: Gaussian Splatting (GS) and Neural Radiance Fields (NeRF) are two groundbreaking technologies that have revolutionized the field of Novel View Synthesis (NVS), enabling immersive photorealistic rendering and user experiences by synthesizing multiple viewpoints from a set of images of sparse views. The potential applications of NVS, such as high-quality virtual and augmented reality, detailed 3D modeling, and realistic medical organ imaging, underscore the importance of quality assessment of NVS methods from the perspective of human perception. Although some previous studies have explored subjective quality assessments for NVS technology, they still face several challenges, especially in NVS methods selection, scenario coverage, and evaluation methodology. To address these challenges, we conducted two subjective experiments for the quality assessment of NVS technologies containing both GS-based and NeRF-based methods, focusing on dynamic and real-world scenes. This study covers 360{\deg}, front-facing, and single-viewpoint videos while providing a richer and greater number of real scenes. Meanwhile, it's the first time to explore the impact of NVS methods in dynamic scenes with moving objects. The two types of subjective experiments help to fully comprehend the influences of different viewing paths from a human perception perspective and pave the way for future development of full-reference and no-reference quality metrics. In addition, we established a comprehensive benchmark of various state-of-the-art objective metrics on the proposed database, highlighting that existing methods still struggle to accurately capture subjective quality. The results give us some insights into the limitations of existing NVS methods and may promote the development of new NVS methods.
• Abstract（参考訳）: ガウス散乱(GS)とニューラルレイディアンス場(NeRF)はノベルビュー合成(NVS)の分野に革命をもたらした2つの画期的な技術であり、スパースビューの一連の画像から複数の視点を合成することで没入型フォトリアリスティックレンダリングとユーザエクスペリエンスを実現する。 高品質なバーチャルおよび拡張現実、詳細な3Dモデリング、現実的な医療臓器画像などのNVSの潜在的な応用は、人間の知覚の観点からNVS法の品質評価の重要性を浮き彫りにしている。 過去の研究では、NVS技術に対する主観的な品質評価が検討されているが、NVSメソッドの選択、シナリオカバレッジ、評価方法論など、いくつかの課題に直面している。 これらの課題に対処するため、GS法とNeRF法の両方を含むNVS技術の品質評価のための2つの主観的な実験を行った。 この研究は、360{\deg}、前面、単一視点のビデオをカバーし、よりリッチで多くのリアルシーンを提供する。 一方、動くオブジェクトを持つ動的なシーンにおけるNVSメソッドの影響を調査するのは、これが初めてです。 この2種類の主観的実験は、人間の視点から異なる視線経路の影響を完全に理解し、完全な参照と非参照品質のメトリクスの将来の発展の道を開くのに役立つ。 さらに,提案したデータベース上で,様々な最先端の客観的指標の総合的なベンチマークを構築し,既存の手法が主観的品質を正確に把握するのに依然として苦労していることを強調した。 その結果,既存のNVSメソッドの限界についていくつかの知見が得られ,新たなNVSメソッドの開発が促進される可能性がある。

関連論文リスト

• GS-QA: Comprehensive Quality Assessment Benchmark for Gaussian Splatting View Synthesis [4.117347527143616]
  Gaussian Splatting (GS)はリアルタイム3DシーンレンダリングのためのNeural Radiance Fields (NeRF)に代わる有望な代替手段を提供する。 GSは、NeRFで使用されるニューラルネットワークアプローチと比較して、レンダリング時間の短縮とメモリ消費の削減を実現している。 本稿では,複数の静的GS法による合成映像の評価を目的とした主観的品質評価研究について述べる。
  論文  参考訳（メタデータ） (2025-02-18T17:46:57Z)
• MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes [35.16430027877207]
  MOVISは、多目的NVSのためのビュー条件拡散モデルの構造的認識を高めることを目的としている。 本稿では,新しいビューオブジェクトマスクを同時に予測するためにモデルを必要とする補助タスクを提案する。 合成画像の可視性を評価するために,クロスビューの一貫性と新しいビューオブジェクト配置を評価する。
  論文  参考訳（メタデータ） (2024-12-16T05:23:45Z)
• NeRF-NQA: No-Reference Quality Assessment for Scenes Generated by NeRF and Neural View Synthesis Methods [13.403739247879766]
  NVS と NeRF の変種から合成した濃密に保存されたシーンに対する最初のノン参照品質評価手法である NeRF-NQA を提案する。 NeRF-NQAは、ビューワイズとポイントワイズの両方のアプローチを統合する共同品質評価戦略を採用している。 ビューワイズアプローチは、各合成ビューの空間的品質と全体ビュー間の一貫性を評価し、ポイントワイズアプローチはシーン表面の角質に焦点を当てる。
  論文  参考訳（メタデータ） (2024-12-11T02:17:33Z)
• Perceptual Depth Quality Assessment of Stereoscopic Omnidirectional Images [10.382801621282228]
  立体視全方位画像の高能率非参照(NR)深度品質評価のための目標品質評価モデルDQIを開発した。 人間の視覚システム(HVS)の知覚特性に触発されたDQIは,多色チャネル,適応型ビューポート選択,眼間不一致の特徴を基盤として構築されている。
  論文  参考訳（メタデータ） (2024-08-19T16:28:05Z)
• Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image [87.00660347447494]
  ニューラルサーフェス・コンストラクション(NSR)の最近の進歩は、ボリュームレンダリングと組み合わせることで、マルチビュー・コンストラクションを著しく改善している。 本稿では,多種多様な視覚的タスクから価値ある特徴を活用すべく,特徴レベルの一貫した損失について検討する。 DTU と EPFL を用いて解析した結果,画像マッチングと多視点ステレオデータセットによる特徴が,他のプリテキストタスクよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2024-08-04T16:09:46Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Perceptual Quality Assessment of NeRF and Neural View Synthesis Methods for Front-Facing Views [10.565297375544414]
  本研究は,NVSおよびNeRFの知覚的評価に関する最初の研究である。 NVS法により合成されたビデオの品質を,よく制御された知覚品質評価実験で測定した。
  論文  参考訳（メタデータ） (2023-03-24T11:53:48Z)
• Multi-View Photometric Stereo Revisited [100.97116470055273]
  多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。 MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。 提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
  論文  参考訳（メタデータ） (2022-10-14T09:46:15Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• NPRportrait 1.0: A Three-Level Benchmark for Non-Photorealistic Rendering of Portraits [67.58044348082944]
  本稿では,スタイリングされたポートレート画像の評価のための,新しい3レベルベンチマークデータセットを提案する。 厳密な基準が構築に使われ、その一貫性はユーザスタディによって検証された。 ポートレート・スタイル化アルゴリズムを評価するための新しい手法が開発されている。
  論文  参考訳（メタデータ） (2020-09-01T18:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。