論文の概要: NeX: Real-time View Synthesis with Neural Basis Expansion
- arxiv url: http://arxiv.org/abs/2103.05606v1
- Date: Tue, 9 Mar 2021 18:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 15:02:05.162075
- Title: NeX: Real-time View Synthesis with Neural Basis Expansion
- Title（参考訳）: NeX:Neural Basis Expansionを用いたリアルタイムビュー合成
- Authors: Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai,
Supasorn Suwajanakorn
- Abstract要約: 本論文では,多面画像(MPI)の拡張に基づく新しい視点合成手法であるNeXについて述べる。
本手法は,各画素をニューラルネットワークから学習した基底関数の線形結合としてパラメータ化することにより,ビュー依存効果をモデル化する。
- 参考スコア（独自算出の注目度）: 1.471992435706872
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present NeX, a new approach to novel view synthesis based on enhancements
of multiplane image (MPI) that can reproduce next-level view-dependent effects
-- in real time. Unlike traditional MPI that uses a set of simple RGB$\alpha$
planes, our technique models view-dependent effects by instead parameterizing
each pixel as a linear combination of basis functions learned from a neural
network. Moreover, we propose a hybrid implicit-explicit modeling strategy that
improves upon fine detail and produces state-of-the-art results. Our method is
evaluated on benchmark forward-facing datasets as well as our newly-introduced
dataset designed to test the limit of view-dependent modeling with
significantly more challenging effects such as rainbow reflections on a CD. Our
method achieves the best overall scores across all major metrics on these
datasets with more than 1000$\times$ faster rendering time than the state of
the art. For real-time demos, visit https://nex-mpi.github.io/
- Abstract（参考訳）: 我々は,次世代のビュー依存効果をリアルタイムに再現できるマルチプレーン画像(MPI)の強化に基づく,新しいビュー合成手法NeXを提案する。
従来の単純なrgb$\alpha$平面を用いたmpiとは異なり、ニューラルネットワークから学習した基底関数の線形結合として各ピクセルをパラメータ化することで、ビュー依存効果をモデル化する。
さらに、詳細を詳細に改善し、最先端の結果を生み出すハイブリッド暗黙的モデリング戦略を提案します。
提案手法は,cd上でのレインボー反射など,かなり困難な効果を持つビュー依存モデリングの限界をテストするために新たに開発したデータセットと同様に,ベンチマークの前方向けデータセット上で評価される。
提案手法は,これらのデータセットのすべての主要な指標に対して,1000ドル以上のレンダリング時間で最高のスコアを得られる。
リアルタイムのデモはhttps://nex-mpi.github.io/を参照。
関連論文リスト
- HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
論文 参考訳（メタデータ） (2023-12-05T22:04:49Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。
提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。
どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
論文 参考訳（メタデータ） (2022-12-02T18:51:10Z) - Generalizable Patch-Based Neural Rendering [46.41746536545268]
未知のシーンの新たなビューを合成できるモデル学習のための新しいパラダイムを提案する。
本手法は,シーンから採取したパッチの集合からのみ,新規シーンにおける対象光線の色を直接予測することができる。
本手法は,従来よりも少ないデータでトレーニングされた場合であっても,目立たないシーンの新たなビュー合成において,最先端のビュー合成よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-07-21T17:57:04Z) - RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。
データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。
高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
論文 参考訳（メタデータ） (2022-05-14T13:15:32Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Towards Robustness of Neural Networks [0.0]
我々は、画像Net-A/O と ImageNet-R と、合成環境とテストスイートである CAOS を紹介した。
すべてのデータセットは、ロバストネスのテストとロバストネスの進捗測定のために作成されました。
我々は、単純なベースラインを最大ロジット、典型スコアの形式で構築するとともに、DeepAugmentの形式で新しいデータ拡張手法を作成します。
論文 参考訳（メタデータ） (2021-12-30T19:41:10Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳（メタデータ） (2021-09-13T07:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。