論文の概要: XScale-NVS: Cross-Scale Novel View Synthesis with Hash Featurized Manifold

• arxiv url: http://arxiv.org/abs/2403.19517v1
• Date: Thu, 28 Mar 2024 15:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 15:44:37.881517
• Title: XScale-NVS: Cross-Scale Novel View Synthesis with Hash Featurized Manifold
• Title（参考訳）: XScale-NVS:Hash Featurized Manifoldを用いたクロススケール新規ビュー合成
• Authors: Guangyu Wang, Jinzhi Zhang, Fan Wang, Ruqi Huang, Lu Fang,
• Abstract要約: 実世界の大規模シーンの高忠実なクロススケールビュー合成のためのXScale-NVSを提案する。 我々は、遅延ニューラルネットワークのフレームワークと結合した新しいハッシュベースのデファチュアライズであるハッシュデファチュアライズド多様体を導入する。 提案手法は,様々な実世界のシーンにおいて競合するベースラインを著しく上回り,従来の最先端に比べて平均40%低いLPIPSが得られる。
• 参考スコア（独自算出の注目度）: 27.36812901510756
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We propose XScale-NVS for high-fidelity cross-scale novel view synthesis of real-world large-scale scenes. Existing representations based on explicit surface suffer from discretization resolution or UV distortion, while implicit volumetric representations lack scalability for large scenes due to the dispersed weight distribution and surface ambiguity. In light of the above challenges, we introduce hash featurized manifold, a novel hash-based featurization coupled with a deferred neural rendering framework. This approach fully unlocks the expressivity of the representation by explicitly concentrating the hash entries on the 2D manifold, thus effectively representing highly detailed contents independent of the discretization resolution. We also introduce a novel dataset, namely GigaNVS, to benchmark cross-scale, high-resolution novel view synthesis of realworld large-scale scenes. Our method significantly outperforms competing baselines on various real-world scenes, yielding an average LPIPS that is 40% lower than prior state-of-the-art on the challenging GigaNVS benchmark. Please see our project page at: xscalenvs.github.io.
• Abstract（参考訳）: 実世界の大規模シーンの高忠実なクロススケールビュー合成のためのXScale-NVSを提案する。 露光面に基づく既存の表現は離散化分解能や紫外線歪みに悩まされる一方、暗黙の体積表現は、分散した重量分布と表面の曖昧さのために大きなシーンのスケーラビリティに欠ける。 以上の課題を踏まえ,新しいハッシュベースのデファチュアライズと遅延ニューラルネットワークの枠組みを組み合わせたハッシュデファチュアライズド多様体を提案する。 このアプローチは、2D多様体上のハッシュエントリを明示的に集中させることで表現の表現性を完全に解放し、離散化分解とは無関係に非常に詳細な内容を効果的に表現する。 また,GigaNVSと呼ばれる新しいデータセットを導入し,現実世界の大規模シーンのクロススケールで高解像度な新規ビュー合成をベンチマークする。 提案手法は,従来のGigaNVSベンチマークよりも40%低いLPIPSで,様々な実世界のシーンにおいて競合するベースラインを著しく上回っている。 xscalenvs.github.ioのプロジェクトページをご覧ください。

関連論文リスト

• Novel View Synthesis with Pixel-Space Diffusion Models [4.844800099745365]
  新規ビュー合成(NVS)に遺伝子モデルがますます採用されている 画素空間における終端NVSに対して,現代的な拡散モデルアーキテクチャを適用した。 単視点データセットを利用した新しいNVSトレーニングスキームを導入し,その相対的多元性に着目した。
  論文  参考訳（メタデータ） (2024-11-12T12:58:33Z)
• GLACE: Global Local Accelerated Coordinate Encoding [66.87005863868181]
  シーン座標回帰法は小規模なシーンでは有効であるが、大規模シーンでは重大な課題に直面している。 本研究では,事前学習したグローバルおよびローカルのエンコーディングを統合したGLACEを提案する。 提案手法は,低マップサイズモデルを用いて,大規模シーンにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:50Z)
• GenS: Generalizable Neural Surface Reconstruction from Multi-View Images [20.184657468900852]
  GenSは、エンドツーエンドの一般化可能なニューラルサーフェス再構成モデルである。 我々の表現はより強力であり、グローバルな滑らかさを維持しながら高周波の詳細を回復することができる。 人気のあるベンチマーク実験により、我々のモデルは新たなシーンにうまく一般化できることが示された。
  論文  参考訳（メタデータ） (2024-06-04T17:13:10Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Multiscale Tensor Decomposition and Rendering Equation Encoding for View Synthesis [7.680742911100444]
  ニューラルレイディアンス特徴場(NRFF)と呼ばれる新しいアプローチを提案する。 NRFFは、NeRFデータセットとNSVFデータセットの両方でPSNRの1dB以上のレンダリング結果を改善する。
  論文  参考訳（メタデータ） (2023-03-07T11:21:50Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• Self-Supervised Visibility Learning for Novel View Synthesis [79.53158728483375]
  従来のレンダリング方法はシーン形状を推定し、2つの別々のステップで新しいビューを合成します。 エラー伝搬問題を排除するために,エンドツーエンドのNVSフレームワークを提案する。 当社のネットワークはエンドツーエンドのセルフ監視方式でトレーニングされており、ビュー合成におけるエラーの蓄積を大幅に軽減します。
  論文  参考訳（メタデータ） (2021-03-29T08:11:25Z)
• UltraSR: Spatial Encoding is a Missing Key for Implicit Image Function-based Arbitrary-Scale Super-Resolution [74.82282301089994]
  本研究では,暗黙的イメージ関数に基づく,シンプルで効果的な新しいネットワーク設計であるUltraSRを提案する。 空間符号化は,次の段階の高精度暗黙的画像機能に対する欠落鍵であることを示す。 UltraSRは、すべての超解像スケールでDIV2Kベンチマークに最新のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2021-03-23T17:36:42Z)
• Hyperspectral Image Super-resolution via Deep Progressive Zero-centric Residual Learning [62.52242684874278]
  空間情報とスペクトル情報の相互モダリティ分布が問題となる。 本稿では,PZRes-Netという,新しいテクスライトウェイトなディープニューラルネットワークベースのフレームワークを提案する。 本フレームワークは,高分解能かつテクテッセロ中心の残像を学習し,シーンの空間的詳細を高頻度で表現する。
  論文  参考訳（メタデータ） (2020-06-18T06:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。