論文の概要: ResFields: Residual Neural Fields for Spatiotemporal Signals

• arxiv url: http://arxiv.org/abs/2309.03160v5
• Date: Sun, 11 Feb 2024 10:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 22:44:18.188484
• Title: ResFields: Residual Neural Fields for Spatiotemporal Signals
• Title（参考訳）: resfields: 時空間信号のための残留神経場
• Authors: Marko Mihajlovic, Sergey Prokudin, Marc Pollefeys, Siyu Tang
• Abstract要約: ResFieldsは、複雑な時間的信号を効果的に表現するために設計された新しいネットワークのクラスである。 本稿では,ResFieldの特性を包括的に解析し,トレーニング可能なパラメータの数を減らすための行列分解手法を提案する。 スパースRGBDカメラからダイナミックな3Dシーンをキャプチャする効果を示すことで,ResFieldsの実用性を実証する。
• 参考スコア（独自算出の注目度）: 61.44420761752655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural fields, a category of neural networks trained to represent high-frequency signals, have gained significant attention in recent years due to their impressive performance in modeling complex 3D data, such as signed distance (SDFs) or radiance fields (NeRFs), via a single multi-layer perceptron (MLP). However, despite the power and simplicity of representing signals with an MLP, these methods still face challenges when modeling large and complex temporal signals due to the limited capacity of MLPs. In this paper, we propose an effective approach to address this limitation by incorporating temporal residual layers into neural fields, dubbed ResFields. It is a novel class of networks specifically designed to effectively represent complex temporal signals. We conduct a comprehensive analysis of the properties of ResFields and propose a matrix factorization technique to reduce the number of trainable parameters and enhance generalization capabilities. Importantly, our formulation seamlessly integrates with existing MLP-based neural fields and consistently improves results across various challenging tasks: 2D video approximation, dynamic shape modeling via temporal SDFs, and dynamic NeRF reconstruction. Lastly, we demonstrate the practical utility of ResFields by showcasing its effectiveness in capturing dynamic 3D scenes from sparse RGBD cameras of a lightweight capture system.
• Abstract（参考訳）: 高周波信号を表すために訓練されたニューラルネットワークのカテゴリであるニューラルフィールドは、シングルマルチ層パーセプトロン(MLP)を介して、符号付き距離(SDF)や放射場(NeRF)といった複雑な3Dデータをモデリングする際の顕著なパフォーマンスから、近年大きな注目を集めている。 しかし、MLPによる信号表現のパワーと単純さにもかかわらず、これらの手法は、MLPの容量が限られているため、大規模で複雑な時間信号のモデリングにおいて、依然として課題に直面している。 本稿では,時間的残留層をニューラルネットワークに組み込むことにより,この制限に対処するための効果的な手法を提案する。 複雑な時間信号を効果的に表現するために設計された新しいネットワークのクラスである。 本稿では,ResFieldの特性を包括的に解析し,学習可能なパラメータの数を減らし,一般化能力を向上する行列分解法を提案する。 重要な点は,既存のmlpベースのニューラルフィールドとシームレスに統合し,2次元映像近似,時間的sdfによる動的形状モデリング,動的nerf再構成など,様々な課題にまたがる結果を一貫して改善することである。 最後に,軽量キャプチャシステムのrgbdカメラから動的3dシーンを撮影することの有効性を示すことで,resfieldsの実用性を示す。

関連論文リスト

• Magnituder Layers for Implicit Neural Representations in 3D [23.135779936528333]
  我々は、"magnituder"と呼ばれる新しいニューラルネットワーク層を導入する。 標準フィードフォワード層にマグニチュードを組み込むことで、推論速度と適応性を向上する。 我々のアプローチは、訓練された暗黙的ニューラル表現モデルにおいてゼロショットのパフォーマンス向上を可能にする。
  論文  参考訳（メタデータ） (2024-10-13T08:06:41Z)
• Synergistic Integration of Coordinate Network and Tensorial Feature for Improving Neural Radiance Fields from Sparse Inputs [26.901819636977912]
  本稿では,低周波信号に対する強いバイアスで知られる座標ネットワークと多面表現を統合する手法を提案する。 提案手法は,スパース入力を持つ静的および動的NeRFのベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:42:46Z)
• Coordinate-Aware Modulation for Neural Fields [11.844561374381575]
  本稿では,ニューラルネットワークにおける合成とグリッド表現の両面を利用した新しい手法を提案する。 格子表現から抽出したスケールとシフト特徴を用いてパラメータを変調するニューラルコーディネート・アウェア・変調(CAM)を提案する。
  論文  参考訳（メタデータ） (2023-11-25T10:42:51Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
  本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。 我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。 我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• Factor Fields: A Unified Framework for Neural Fields and Beyond [50.29013417187368]
  本稿では、信号のモデリングと表現のための新しいフレームワークであるFacter Fieldsを紹介する。 我々のフレームワークは、NeRF、Plenoxels、EG3D、Instant-NGP、TensoRFなどの最近の信号表現に対応している。 この表現は,2次元画像回帰作業における画像の近似精度の向上,3次元符号付き距離場再構築時の幾何学的品質の向上,および放射場再構成作業におけるコンパクト性の向上を実現している。
  論文  参考訳（メタデータ） (2023-02-02T17:06:50Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。