論文の概要: INPC: Implicit Neural Point Clouds for Radiance Field Rendering
- arxiv url: http://arxiv.org/abs/2403.16862v2
- Date: Tue, 11 Mar 2025 16:51:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 22:35:51.167511
- Title: INPC: Implicit Neural Point Clouds for Radiance Field Rendering
- Title(参考訳): INPC: レイディアンスフィールドレンダリングのための暗黙のニューラルポイント雲
- Authors: Florian Hahlbohm, Linus Franke, Moritz Kappel, Susana Castillo, Martin Eisemann, Marc Stamminger, Marcus Magnor,
- Abstract要約: 本稿では,現実世界のシーンを再現し,新しいビュー・シンセサイザーを構築するための新しいアプローチを提案する。
連続オクツリー型確率場における非有界な幾何学を暗黙的に符号化するハイブリッドシーン表現を提案する。
インタラクティブなフレームレートで高速な推論を実現し、トレーニングされたモデルを大規模で明示的なポイントクラウドに変換することで、パフォーマンスをさらに向上します。
- 参考スコア(独自算出の注目度): 5.6267319156345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new approach for reconstruction and novel view synthesis of unbounded real-world scenes. In contrast to previous methods using either volumetric fields, grid-based models, or discrete point cloud proxies, we propose a hybrid scene representation, which implicitly encodes the geometry in a continuous octree-based probability field and view-dependent appearance in a multi-resolution hash grid. This allows for extraction of arbitrary explicit point clouds, which can be rendered using rasterization. In doing so, we combine the benefits of both worlds and retain favorable behavior during optimization: Our novel implicit point cloud representation and differentiable bilinear rasterizer enable fast rendering while preserving the fine geometric detail captured by volumetric neural fields. Furthermore, this representation does not depend on priors like structure-from-motion point clouds. Our method achieves state-of-the-art image quality on common benchmarks. Furthermore, we achieve fast inference at interactive frame rates, and can convert our trained model into a large, explicit point cloud to further enhance performance.
- Abstract(参考訳): 本研究では,非有界な現実世界のシーンを再現し,新しい視点で合成する手法を提案する。
ボリュームフィールド,グリッドベースモデル,あるいは離散点クラウドプロキシを用いた従来の手法とは対照的に,連続オクツリーベースの確率場に幾何学を暗黙的にエンコードし,マルチ解像度のハッシュグリッドにビュー依存の外観を与えるハイブリッドシーン表現を提案する。
これにより任意の明示的な点雲の抽出が可能となり、ラスタ化を用いてレンダリングすることができる。
我々の新しい暗黙の点雲表現と微分可能な双線形ラスタライザは、容積のニューラルネットワークが捉えた細かい幾何学的詳細を保存しながら高速なレンダリングを可能にします。
さらに、この表現は、運動点雲の構造のような先行に依存しない。
提案手法は,一般的なベンチマークにおいて,最先端の画像品質を実現する。
さらに、インタラクティブなフレームレートで高速な推論を実現し、トレーニングされたモデルを大規模で明示的なポイントクラウドに変換することで、パフォーマンスをさらに向上する。
関連論文リスト
- CE-NPBG: Connectivity Enhanced Neural Point-Based Graphics for Novel View Synthesis in Autonomous Driving Scenes [5.719388462440881]
大規模自動運転シーンにおける新しいビュー合成(NVS)手法であるCE-NPBGを提案する。
提案手法は,画像(カメラ)と同期生3D点雲(LiDAR)の2つのモードを利用するニューラルネットワーク技術である。
この接続を利用することで、レンダリング品質を大幅に改善し、実行時間とスケーラビリティを向上させる。
論文 参考訳(メタデータ) (2025-04-28T08:02:02Z) - LinPrim: Linear Primitives for Differentiable Volumetric Rendering [53.780682194322225]
線形プリミティブに基づく2つの新しいシーン表現を導入する。
我々はGPU上で効率的に動作する異なるオクタライザを提案する。
我々は最先端の手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2025-01-27T18:49:38Z) - Bridging Domain Gap of Point Cloud Representations via Self-Supervised Geometric Augmentation [15.881442863961531]
領域間の点雲表現の幾何学的不変性を誘導する新しいスキームを提案する。
一方、点雲のセントロイドシフトを軽減するために、拡張サンプルの距離の変換を予測するための新しいプレテキストタスクが提案されている。
一方,我々は幾何学的に拡張された点雲上での自己教師付き関係学習の統合を開拓した。
論文 参考訳(メタデータ) (2024-09-11T02:39:19Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳(メタデータ) (2024-06-14T14:35:44Z) - Point Cloud Compression with Implicit Neural Representations: A Unified Framework [54.119415852585306]
我々は幾何学と属性の両方を扱える先駆的なクラウド圧縮フレームワークを提案する。
本フレームワークでは,2つの座標ベースニューラルネットワークを用いて,voxelized point cloudを暗黙的に表現する。
本手法は,既存の学習手法と比較して,高い普遍性を示す。
論文 参考訳(メタデータ) (2024-05-19T09:19:40Z) - Multiway Point Cloud Mosaicking with Diffusion and Global Optimization [74.3802812773891]
マルチウェイポイントクラウドモザイクのための新しいフレームワーク(水曜日)を紹介する。
我々のアプローチの核心は、重複を識別し、注意点を洗練する学習されたペアワイズ登録アルゴリズムODINである。
4つの多種多様な大規模データセットを用いて、我々の手法は、全てのベンチマークにおいて大きなマージンで、最先端のペアとローテーションの登録結果を比較した。
論文 参考訳(メタデータ) (2024-03-30T17:29:13Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Patch-Wise Point Cloud Generation: A Divide-and-Conquer Approach [83.05340155068721]
分割・分散アプローチを用いた新しい3dポイントクラウド生成フレームワークを考案する。
すべてのパッチジェネレータは学習可能な事前情報に基づいており、幾何学的プリミティブの情報を取得することを目的としている。
最も人気のあるポイントクラウドデータセットであるShapeNetのさまざまなオブジェクトカテゴリに関する実験結果は、提案したパッチワイドポイントクラウド生成の有効性を示している。
論文 参考訳(メタデータ) (2023-07-22T11:10:39Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T16:50:19Z) - Pointersect: Neural Rendering with Cloud-Ray Intersection [30.485621062087585]
本研究では,点雲を表面のように描画する新しい手法を提案する。
提案手法は識別可能であり,シーン固有の最適化を必要としない。
論文 参考訳(メタデータ) (2023-04-24T18:36:49Z) - GP-PCS: One-shot Feature-Preserving Point Cloud Simplification with Gaussian Processes on Riemannian Manifolds [2.8811433060309763]
本稿では,新しいワンショットポイントクラウド単純化手法を提案する。
表面の復元を一切行わずに、健全な構造的特徴と点雲全体の形状の両方を保っている。
提案手法を複数のベンチマークおよび自己取得点雲上で評価し,既存手法と比較し,下流での登録と表面再構成の応用を実証した。
論文 参考訳(メタデータ) (2023-03-27T14:05:34Z) - Grid-guided Neural Radiance Fields for Large Urban Scenes [146.06368329445857]
近年のアプローチでは、シーンを地理的に分割し、複数のサブNeRFを採用して各領域を個別にモデル化する手法が提案されている。
もう一つの解決策は、計算効率が良く、大きなシーンに自然にスケールできる機能グリッド表現を使用することである。
本稿では,大規模都市における高忠実度レンダリングを実現し,計算効率を向上する枠組みを提案する。
論文 参考訳(メタデータ) (2023-03-24T13:56:45Z) - Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。
我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。
ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
論文 参考訳(メタデータ) (2022-05-28T04:36:13Z) - Point Cloud Compression with Sibling Context and Surface Priors [47.96018990521301]
大規模クラウド圧縮のための新しいオクツリーベースのマルチレベルフレームワークを提案する。
本稿では,オクツリーの階層的依存性を探索する新しいエントロピーモデルを提案する。
表面をボクセルベースの幾何認識モジュールで局所的に整合させ,エントロピー符号化における幾何学的先行情報を提供する。
論文 参考訳(メタデータ) (2022-05-02T09:13:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。