論文の概要: Dynamic Appearance Particle Neural Radiance Field

• arxiv url: http://arxiv.org/abs/2310.07916v1
• Date: Wed, 11 Oct 2023 22:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 13:31:50.598448
• Title: Dynamic Appearance Particle Neural Radiance Field
• Title（参考訳）: 動的外観粒子ニューラル放射場
• Authors: Ancheng Lin, Jun Li
• Abstract要約: 本研究では3次元シーンにおける視覚的要素の運動をモデル化するための粒子ベース表現を導入した動的外観粒子ニューラルレイダンス場(DAP-NeRF)を提案する。 DAP-NeRFは静的場と動的場の重ね合わせからなる。 静的場、粒子の視覚的特徴、運動モデルを含む全てのコンポーネントは、シーンに関する事前の幾何学的知識のない単眼ビデオから学習される。
• 参考スコア（独自算出の注目度）: 4.122877372953095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) have shown great potential in modelling 3D scenes. Dynamic NeRFs extend this model by capturing time-varying elements, typically using deformation fields. The existing dynamic NeRFs employ a similar Eulerian representation for both light radiance and deformation fields. This leads to a close coupling of appearance and motion and lacks a physical interpretation. In this work, we propose Dynamic Appearance Particle Neural Radiance Field (DAP-NeRF), which introduces particle-based representation to model the motions of visual elements in a dynamic 3D scene. DAP-NeRF consists of superposition of a static field and a dynamic field. The dynamic field is quantised as a collection of {\em appearance particles}, which carries the visual information of a small dynamic element in the scene and is equipped with a motion model. All components, including the static field, the visual features and motion models of the particles, are learned from monocular videos without any prior geometric knowledge of the scene. We develop an efficient computational framework for the particle-based model. We also construct a new dataset to evaluate motion modelling. Experimental results show that DAP-NeRF is an effective technique to capture not only the appearance but also the physically meaningful motions in a 3D dynamic scene.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3Dシーンをモデル化する大きな可能性を示している。 動的NeRFは、典型的には変形場を用いて、時間変化要素をキャプチャすることでこのモデルを拡張する。 既存の動的nerfは、光放射と変形場の両方に同様のオイラー表現を用いる。 これは外見と動きを密結合させ、物理的解釈を欠いている。 本研究では,動的3次元シーンにおける視覚的要素の運動をモデル化するための粒子ベース表現を導入し,DAP-NeRF(Dynamic Outearance Particle Neural Radiance Field)を提案する。 DAP-NeRFは静的場と動的場の重ね合わせからなる。 動的場は、シーン内の小さな動的要素の視覚情報を伝達し、モーションモデルを備えた「外見粒子」の集合として定量化される。 粒子の静的場、視覚特徴、運動モデルを含む全ての構成要素は、シーンに関する事前の幾何学的知識なしに単眼ビデオから学習される。 粒子モデルのための効率的な計算フレームワークを開発する。 また,動きモデリングを評価するための新しいデータセットを構築した。 実験結果から, DAP-NeRFは外見だけでなく, 3次元動的シーンにおける身体的に意味のある動きを捉えるのに有効であることがわかった。

関連論文リスト

• DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
  動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。 提案手法は最先端の手法を広いマージンで大幅に上回る。
  論文  参考訳（メタデータ） (2024-09-16T07:11:58Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification [64.61198351207752]
  ビデオからのシステム同定(オブジェクトの物理的パラメータを推定する)への既存のアプローチは、既知のオブジェクトジオメトリを仮定する。 本研究では,オブジェクトの形状やトポロジを仮定することなく,多視点ビデオの集合から物理系を特徴付けるパラメータを同定することを目的とする。 マルチビュービデオから高ダイナミックな物体の未知の幾何学的パラメータと物理的パラメータを推定するために,Physics Augmented Continuum Neural Radiance Fields (PAC-NeRF)を提案する。
  論文  参考訳（メタデータ） (2023-03-09T18:59:50Z)
• D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes [2.587781533364185]
  動的シーンのための合成放射場D-TensoRFを提案する。 格子をランク1ベクトル成分(CP分解)またはローランク行列成分(MM分解)に分解する。 CP分解とMM分解を併用したD-TensoRFでは,トレーニング時間が短く,メモリフットプリントも著しく低かった。
  論文  参考訳（メタデータ） (2022-12-05T15:57:55Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
  本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。 私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。 我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T01:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。