論文の概要: FreBIS: Frequency-Based Stratification for Neural Implicit Surface Representations
- arxiv url: http://arxiv.org/abs/2504.20222v1
- Date: Mon, 28 Apr 2025 19:45:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.657058
- Title: FreBIS: Frequency-Based Stratification for Neural Implicit Surface Representations
- Title(参考訳): FreBIS: ニューラルインプリシト表面表現のための周波数ベース階層化
- Authors: Naoko Sawada, Pedro Miraldo, Suhas Lohit, Tim K. Marks, Moitreya Chatterjee,
- Abstract要約: 本稿ではFreBISと呼ばれる新しい暗黙的表面表現手法を提案し,その課題を克服する。
FreBISは、複数の周波数レベルに表面の周波数に基づいてシーンを階層化し、各レベルを専用エンコーダでエンコードする。
BlendedMVSデータセットの実験的評価は、市販のニューラルサーフェス再構成法における標準エンコーダを周波数成層エンコーダに置き換えることで、大幅な改善が期待できることを示している。
- 参考スコア(独自算出の注目度): 22.588351003491375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural implicit surface representation techniques are in high demand for advancing technologies in augmented reality/virtual reality, digital twins, autonomous navigation, and many other fields. With their ability to model object surfaces in a scene as a continuous function, such techniques have made remarkable strides recently, especially over classical 3D surface reconstruction methods, such as those that use voxels or point clouds. However, these methods struggle with scenes that have varied and complex surfaces principally because they model any given scene with a single encoder network that is tasked to capture all of low through high-surface frequency information in the scene simultaneously. In this work, we propose a novel, neural implicit surface representation approach called FreBIS to overcome this challenge. FreBIS works by stratifying the scene based on the frequency of surfaces into multiple frequency levels, with each level (or a group of levels) encoded by a dedicated encoder. Moreover, FreBIS encourages these encoders to capture complementary information by promoting mutual dissimilarity of the encoded features via a novel, redundancy-aware weighting module. Empirical evaluations on the challenging BlendedMVS dataset indicate that replacing the standard encoder in an off-the-shelf neural surface reconstruction method with our frequency-stratified encoders yields significant improvements. These enhancements are evident both in the quality of the reconstructed 3D surfaces and in the fidelity of their renderings from any viewpoint.
- Abstract(参考訳): ニューラルな暗黙の表面表現技術は、拡張現実/バーチャルリアリティー、デジタルツイン、自律ナビゲーション、その他多くの分野における技術の進歩に高い需要がある。
シーン内の物体表面を連続関数としてモデル化する能力により、このような技術は近年顕著な進歩を遂げており、特にボクセルや点雲などの古典的な3次元表面再構成法では顕著である。
しかし、これらの手法は、主に特定のシーンを1つのエンコーダネットワークでモデル化し、同時にシーン内の低周波情報を同時にキャプチャするので、様々な複雑な表面を持つシーンと競合する。
本研究ではFreBISと呼ばれる新しい暗黙的表面表現手法を提案し,その課題を克服する。
FreBISは、複数の周波数レベルに表面の周波数に基づいてシーンを成層し、各レベル(または一群のレベル)を専用エンコーダでエンコードする。
さらに、FreBISはこれらのエンコーダに対して、新しい冗長性認識重み付けモジュールを通じて、符号化された特徴の相互相違を促進することによって、補完的な情報を取得するように促している。
BlendedMVSデータセットの実験的評価は、市販のニューラルサーフェス再構成法における標準エンコーダを周波数成層エンコーダに置き換えることで、大幅な改善が期待できることを示している。
これらの拡張は、再構成された3次元表面の品質と、任意の視点からレンダリングの忠実さの両方において明らかである。
関連論文リスト
- Sharpening Neural Implicit Functions with Frequency Consolidation Priors [53.6277160912059]
符号付き距離関数 (Signed Distance Function, SDF) は、高忠実度3D表面を表現するために重要な暗黙の表現である。
現在の手法は主にニューラルネットワークを利用して、署名された3Dポイントクラウドやマルチビューイメージなど、さまざまな監督機関からSDFを学ぶ。
本研究では、高周波成分を回収し、よりシャープで完全な表面を追求することにより、低周波SDF観測を高速化する手法を提案する。
論文 参考訳(メタデータ) (2024-12-27T16:18:46Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳(メタデータ) (2024-03-25T15:56:17Z) - WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。
WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
論文 参考訳(メタデータ) (2023-08-09T09:24:56Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - PINs: Progressive Implicit Networks for Multi-Scale Neural
Representations [68.73195473089324]
周波数符号化のインクリメンタルな集合に階層構造を露出するプログレッシブな位置符号化を提案する。
本モデルでは,広帯域のシーンを正確に再構成し,プログレッシブなディテールでシーン表現を学習する。
いくつかの2次元および3次元データセットの実験では、ベースラインと比較して、再構築精度、表現能力、トレーニング速度が改善されている。
論文 参考訳(メタデータ) (2022-02-09T20:33:37Z) - NeuS: Learning Neural Implicit Surfaces by Volume Rendering for
Multi-view Reconstruction [88.02850205432763]
物体やシーンを2次元画像入力から高忠実度に再構成するニュートラルサーフェス(NeuS)を提案する。
DVRやIDRのような既存の神経表面再構成アプローチでは、フォアグラウンドマスクを監督する必要がある。
本研究では,従来のボリュームレンダリング手法が表面再構成に固有の幾何学的誤差を引き起こすことを観察する。
マスクの監督なしでもより正確な表面再構成を実現するため,第一次近似ではバイアスのない新しい定式化を提案する。
論文 参考訳(メタデータ) (2021-06-20T12:59:42Z) - UNISURF: Unifying Neural Implicit Surfaces and Radiance Fields for
Multi-View Reconstruction [61.17219252031391]
ニューラル暗黙的3D表現を用いた多視点画像から表面を再構築する新しい手法を提案する。
我々の重要な洞察は、暗黙の曲面モデルと放射場を統一的に定式化し、表面および体積のレンダリングを可能にすることである。
実験により, マスクを必要とせず, idrと同等の性能を保ちつつ, 再構成品質でnrfを上回った。
論文 参考訳(メタデータ) (2021-04-20T15:59:38Z) - Neural Lumigraph Rendering [33.676795978166375]
最先端の(SOTA)ニューラルボリュームレンダリングアプローチは、トレーニングが遅く、高い画像解像度のために数分の推論(レンダリング)時間を必要とします。
本研究では,2次元画像のみを監督するシーンの暗黙の面と放射界を協調的に最適化するために,周期的アクティベーションを伴う高容量なニューラルシーン表現を採用する。
我々のニューラルレンダリングパイプラインは、SOTAニューラルボリュームレンダリングを約2桁加速し、暗黙のサーフェス表現は、ビュー依存テクスチャ情報によるメッシュのエクスポートを可能にするユニークなものです。
論文 参考訳(メタデータ) (2021-03-22T03:46:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。