論文の概要: Neural Processing of Tri-Plane Hybrid Neural Fields
- arxiv url: http://arxiv.org/abs/2310.01140v2
- Date: Thu, 25 Jan 2024 17:25:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-26 17:49:17.258136
- Title: Neural Processing of Tri-Plane Hybrid Neural Fields
- Title（参考訳）: 三面ハイブリッドニューラルフィールドのニューラルプロセッシング
- Authors: Adriano Cardace, Pierluigi Zama Ramirez, Francesco Ballerini, Allan
Zhou, Samuele Salti, Luigi Di Stefano
- Abstract要約: 本稿では,3面離散データ構造が,標準的な深層学習機械で効果的に処理できるリッチな情報を符号化していることを示す。
同じ再構成品質のフィールドを処理しながら、大規模表現を処理するフレームワークよりもはるかに優れたタスク性能を実現する。
- 参考スコア（独自算出の注目度）: 20.78031512517053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driven by the appealing properties of neural fields for storing and
communicating 3D data, the problem of directly processing them to address tasks
such as classification and part segmentation has emerged and has been
investigated in recent works. Early approaches employ neural fields
parameterized by shared networks trained on the whole dataset, achieving good
task performance but sacrificing reconstruction quality. To improve the latter,
later methods focus on individual neural fields parameterized as large
Multi-Layer Perceptrons (MLPs), which are, however, challenging to process due
to the high dimensionality of the weight space, intrinsic weight space
symmetries, and sensitivity to random initialization. Hence, results turn out
significantly inferior to those achieved by processing explicit
representations, e.g., point clouds or meshes. In the meantime, hybrid
representations, in particular based on tri-planes, have emerged as a more
effective and efficient alternative to realize neural fields, but their direct
processing has not been investigated yet. In this paper, we show that the
tri-plane discrete data structure encodes rich information, which can be
effectively processed by standard deep-learning machinery. We define an
extensive benchmark covering a diverse set of fields such as occupancy,
signed/unsigned distance, and, for the first time, radiance fields. While
processing a field with the same reconstruction quality, we achieve task
performance far superior to frameworks that process large MLPs and, for the
first time, almost on par with architectures handling explicit representations.
- Abstract（参考訳）: 3Dデータの保存と通信のためのニューラルネットワークの魅力によって、分類や部分分割といったタスクに対処するための直接処理の問題が出現し、近年研究が進められている。
初期のアプローチでは、データセット全体でトレーニングされた共有ネットワークによってパラメータ化されたニューラルネットワークを採用し、優れたタスクパフォーマンスを実現しつつ、再構成品質を犠牲にしている。
後者の改良のために、後の手法では、大きな多層パーセプトロン(mlps)としてパラメータ化された個々の神経場に焦点を当てているが、重み空間の高次元、内在的な重み空間対称性、ランダム初期化に対する感受性のため、処理が困難である。
したがって、ポイントクラウドやメッシュといった明示的な表現を処理することで得られる結果よりも、結果が著しく劣ることがわかった。
一方、特に三面体に基づくハイブリッド表現は、ニューラルネットワークを実現するためのより効率的で効率的な代替手段として現れてきたが、その直接処理はまだ研究されていない。
本稿では,三平面離散データ構造がリッチな情報を符号化し,標準ディープラーニング機械で効果的に処理できることを示す。
我々は、占有率、符号付き/符号なし距離、および初めて放射場などの様々な分野をカバーする広範囲なベンチマークを定義する。
同じ再構成品質のフィールドを処理する一方で、大規模なMLPを処理するフレームワークよりもはるかに優れたタスク性能を実現しています。
関連論文リスト
- Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。
私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。
アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
論文 参考訳（メタデータ） (2024-09-30T17:59:03Z) - N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。
N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。
本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文 参考訳（メタデータ） (2024-05-25T13:54:34Z) - Reg-NF: Efficient Registration of Implicit Surfaces within Neural Fields [6.949522577812908]
本稿では2つの任意のニューラルネットワーク間の相対的な6-DoF変換を最適化するReg-NFについて述べる。
Reg-NFの主な構成要素は、双方向の登録損失、多視点表面サンプリング、および体積符号距離関数の利用である。
論文 参考訳（メタデータ） (2024-02-15T05:31:03Z) - Enhancing Surface Neural Implicits with Curvature-Guided Sampling and Uncertainty-Augmented Representations [37.42624848693373]
本研究では,高忠実度3次元再構成作業において,深度画像を直接消化する手法を提案する。
高効率なトレーニングデータを生成するため,簡単なサンプリング手法を提案する。
その単純さにもかかわらず、本手法は古典的および学習的ベースラインの両方に優れる。
論文 参考訳（メタデータ） (2023-06-03T12:23:17Z) - OReX: Object Reconstruction from Planar Cross-sections Using Neural
Fields [10.862993171454685]
OReXはスライス単独で3次元形状を復元する手法であり、前者がニューラルネットワーク勾配である。
適度なニューラルネットワークは入力平面上でトレーニングされ、与えられた3D座標の内外推定を返却し、滑らかさと自己相似性を誘導する強力な先行を与える。
我々は、粗大な訓練を奨励する反復的な推定アーキテクチャと階層的な入力サンプリングスキームを提供し、訓練プロセスは後段の高周波に集中できるようにする。
論文 参考訳（メタデータ） (2022-11-23T11:44:35Z) - Scene Synthesis via Uncertainty-Driven Attribute Synchronization [52.31834816911887]
本稿では,3次元シーンの多様な特徴パターンを捉えるニューラルシーン合成手法を提案する。
提案手法は,ニューラルネットワークと従来のシーン合成手法の双方の長所を結合する。
論文 参考訳（メタデータ） (2021-08-30T19:45:07Z) - Locally Aware Piecewise Transformation Fields for 3D Human Mesh
Registration [67.69257782645789]
本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。
パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
論文 参考訳（メタデータ） (2021-04-16T15:16:09Z) - Deep Cellular Recurrent Network for Efficient Analysis of Time-Series
Data with Spatial Information [52.635997570873194]
本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。
提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
論文 参考訳（メタデータ） (2021-01-12T20:08:18Z) - Generative Sparse Detection Networks for 3D Single-shot Object Detection [43.91336826079574]
3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。
しかし、3Dデータのまばらな性質は、このタスクに固有の課題をもたらしている。
本稿では,完全畳み込み単一ショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
論文 参考訳（メタデータ） (2020-06-22T15:54:24Z) - Dataset Condensation with Gradient Matching [36.14340188365505]
本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。
いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-10T16:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。