論文の概要: General Neural Gauge Fields
- arxiv url: http://arxiv.org/abs/2305.03462v3
- Date: Wed, 7 Feb 2024 15:17:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 20:48:49.150311
- Title: General Neural Gauge Fields
- Title(参考訳): 一般神経ゲージ場
- Authors: Fangneng Zhan, Lingjie Liu, Adam Kortylewski, Christian Theobalt
- Abstract要約: 我々はゲージ変換とニューラルネットワークを協調的に最適化する学習フレームワークを開発した。
我々は、シーン情報を本質的に保存し、優れた性能を得ることができる情報不変ゲージ変換を導出する。
- 参考スコア(独自算出の注目度): 100.35916421218101
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent advance of neural fields, such as neural radiance fields, has
significantly pushed the boundary of scene representation learning. Aiming to
boost the computation efficiency and rendering quality of 3D scenes, a popular
line of research maps the 3D coordinate system to another measuring system,
e.g., 2D manifolds and hash tables, for modeling neural fields. The conversion
of coordinate systems can be typically dubbed as \emph{gauge transformation},
which is usually a pre-defined mapping function, e.g., orthogonal projection or
spatial hash function. This begs a question: can we directly learn a desired
gauge transformation along with the neural field in an end-to-end manner? In
this work, we extend this problem to a general paradigm with a taxonomy of
discrete \& continuous cases, and develop a learning framework to jointly
optimize gauge transformations and neural fields. To counter the problem that
the learning of gauge transformations can collapse easily, we derive a general
regularization mechanism from the principle of information conservation during
the gauge transformation. To circumvent the high computation cost in gauge
learning with regularization, we directly derive an information-invariant gauge
transformation which allows to preserve scene information inherently and yield
superior performance. Project: https://fnzhan.com/Neural-Gauge-Fields
- Abstract(参考訳): 近年のニューラル・ラディアンス・フィールドのようなニューラル・フィールドの進歩は、シーン表現学習の境界を大きく押し上げている。
3Dシーンの計算効率とレンダリング品質を高めるために、人気のある研究のラインは、3D座標系を別の測定系、例えば2次元多様体とハッシュテーブルにマッピングして、ニューラルネットワークをモデル化する。
座標系の変換は一般に \emph{gauge transformation} と呼ばれ、通常は直交射影や空間ハッシュ関数といった事前定義された写像関数である。
エンドツーエンドでニューラルネットワークとともに、望ましいゲージ変換を直接学べるのか?
本研究では,この問題を離散的0&連続ケースの分類法を用いて一般パラダイムに拡張し,ゲージ変換とニューラルネットワークを共同で最適化する学習フレームワークを開発した。
ゲージ変換の学習が容易に崩壊する問題に対処するために、ゲージ変換中の情報保存の原理から一般的な正規化機構を導出する。
正規化によるゲージ学習における高い計算コストを回避するために,シーン情報を本質的に保存し,優れた性能が得られる情報不変ゲージ変換を直接導出する。
プロジェクト: https://fnzhan.com/neural-gauge-fields
関連論文リスト
- Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - Zero-Level-Set Encoder for Neural Distance Fields [10.269224726391807]
本稿では,1つの前方パスに3次元形状を埋め込む新しいエンコーダデコーダニューラルネットワークを提案する。
ネットワークはアイコン方程式を解くために訓練されており、訓練と推論のためにゼロレベル集合の知識しか必要としない。
論文 参考訳(メタデータ) (2023-10-10T14:07:37Z) - Parameterization-driven Neural Implicit Surfaces Editing [37.48581817960415]
神経暗示面を単純なパラメトリック領域にパラメータ化するための新しいニューラルネットワークを提案する。
提案手法は3次元オブジェクトとその選択したパラメトリック領域間の双方向の変形を計算する。
我々はまた、ビュー非依存の材料編集とビュー依存のシェーディング編集の両方を容易にし、内在的放射分解の簡易かつ効果的な手法も導入した。
論文 参考訳(メタデータ) (2023-10-09T08:42:40Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Factored Neural Representation for Scene Understanding [39.66967677639173]
本稿では,モノクラーRGB-Dビデオから直接学習して,オブジェクトレベルのニューラルプレゼンテーションを生成する,ファクタリングされたニューラルシーン表現を提案する。
我々は、合成データと実データの両方に対する一連のニューラルアプローチに対して、表現が効率的で、解釈可能で、編集可能であることを示す。
論文 参考訳(メタデータ) (2023-04-21T13:40:30Z) - Moving Frame Net: SE(3)-Equivariant Network for Volumes [0.0]
移動フレームアプローチに基づく画像データのための回転・変換同変ニューラルネットワークを提案する。
入力段階において、移動フレームの計算を1つに減らし、そのアプローチを大幅に改善する。
我々の訓練されたモデルは、MedMNIST3Dの試験されたデータセットの大部分の医療ボリューム分類において、ベンチマークを上回ります。
論文 参考訳(メタデータ) (2022-11-07T10:25:38Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Learning Smooth Neural Functions via Lipschitz Regularization [92.42667575719048]
ニューラルフィールドにおけるスムーズな潜伏空間を促進するために設計された新しい正規化を導入する。
従来のリプシッツ正規化ネットワークと比較して、我々のアルゴリズムは高速で、4行のコードで実装できる。
論文 参考訳(メタデータ) (2022-02-16T21:24:54Z) - Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。
ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。
Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
論文 参考訳(メタデータ) (2020-11-03T02:57:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。