論文の概要: DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2410.14169v1
• Date: Fri, 18 Oct 2024 04:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:20.361773
• Title: DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction
• Title（参考訳）: DaRePlane:動的シーン再構築のための方向認識表現
• Authors: Ange Lou, Benjamin Planche, Zhongpai Gao, Yamin Li, Tianyu Luan, Hao Ding, Meng Zheng, Terrence Chen, Ziyan Wu, Jack Noble,
• Abstract要約: DaRePlaneは、6つの異なる方向からダイナミクスをキャプチャする新しい表現手法である。 DaRePlaneは様々な複雑なダイナミックシーンのための新しいビュー合成において最先端のパフォーマンスを得る。
• 参考スコア（独自算出の注目度）: 26.39519157164198
• License:
• Abstract: Numerous recent approaches to modeling and re-rendering dynamic scenes leverage plane-based explicit representations, addressing slow training times associated with models like neural radiance fields (NeRF) and Gaussian splatting (GS). However, merely decomposing 4D dynamic scenes into multiple 2D plane-based representations is insufficient for high-fidelity re-rendering of scenes with complex motions. In response, we present DaRePlane, a novel direction-aware representation approach that captures scene dynamics from six different directions. This learned representation undergoes an inverse dual-tree complex wavelet transformation (DTCWT) to recover plane-based information. Within NeRF pipelines, DaRePlane computes features for each space-time point by fusing vectors from these recovered planes, then passed to a tiny MLP for color regression. When applied to Gaussian splatting, DaRePlane computes the features of Gaussian points, followed by a tiny multi-head MLP for spatial-time deformation prediction. Notably, to address redundancy introduced by the six real and six imaginary direction-aware wavelet coefficients, we introduce a trainable masking approach, mitigating storage issues without significant performance decline. To demonstrate the generality and efficiency of DaRePlane, we test it on both regular and surgical dynamic scenes, for both NeRF and GS systems. Extensive experiments show that DaRePlane yields state-of-the-art performance in novel view synthesis for various complex dynamic scenes.
• Abstract（参考訳）: 動的シーンのモデリングと再レンダリングに対する最近の多くのアプローチは、平面ベースの明示的な表現を活用し、ニューラルレイディアンスフィールド(NeRF)やガウススプラッティング(GS)といったモデルに関連する遅いトレーニング時間に対処している。 しかし、4次元ダイナミックシーンを複数の2次元平面ベース表現に分解するだけでは、複雑な動きを持つシーンの高忠実度再レンダリングには不十分である。 そこで本研究では,6つの方向からシーンダイナミクスをキャプチャする,新たな方向対応表現手法であるDaRePlaneを提案する。 この学習された表現は、平面情報を取得するために逆2重ツリー複合ウェーブレット変換(DTCWT)を行う。 NeRFパイプライン内では、DaRePlaneはこれらの回収された平面からベクトルを融合させて各時空点の機能を計算し、その後、色の回帰のために小さなMLPに渡される。 ガウススプラッティングに適用すると、DaRePlaneはガウス点の特徴を計算し、次いで空間時間変形予測のための小さなマルチヘッドMLPを出力する。 特に、6つの実数および6つの仮想方向対応ウェーブレット係数によって導入された冗長性に対処するため、トレーニング可能なマスキング手法を導入し、性能低下を伴わないストレージ問題を軽減した。 DaRePlane の汎用性と効率性を実証するため,NeRF および GS システムにおいて,通常の動的シーンと外科的ダイナミックシーンの両方でテストした。 大規模な実験により,DaRePlaneは様々な複雑なダイナミックシーンに対する新しいビュー合成において,最先端の性能が得られることが示された。

関連論文リスト

• Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes [30.32214593068206]
  複雑なシーンにおける動的内容と閉塞に対処する時空間2次元ガウス散乱法を提案する。 具体的には、動的シーンにおける幾何学的品質を改善するために、標準2次元ガウススプラットを学習し、これらの2次元ガウススプラットを変形させる。 また, 構成不透明化戦略を導入し, 閉塞領域の表面の回復をさらに抑制する。 実世界のスパースビュービデオデータセットとモノクロダイナミックデータセットの実験は、再構築が最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-27T15:50:36Z)
• Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
  オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。 ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。 提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
  論文  参考訳（メタデータ） (2024-07-30T15:33:58Z)
• TK-Planes: Tiered K-Planes with High Dimensional Feature Vectors for Dynamic UAV-based Scenes [58.180556221044235]
  本研究では,無人航空機(UAV)の認識における合成データと実世界データとの領域ギャップを埋める新しい手法を提案する。 私たちの定式化は、小さな動く物体や人間の行動からなる動的なシーンのために設計されています。 我々は,Okutama ActionやUG2など,挑戦的なデータセットの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-04T21:55:33Z)
• DaReNeRF: Direction-aware Representation for Dynamic Scenes [24.752909256748158]
  本稿では,6つの方向からダイナミクスを捉える新しい方向認識表現(DaRe)手法を提案する。 DaReNeRFは、これらの回収された平面から融合することで、各時空点の特徴を計算する。 DaReNeRFは、先行技術に比べてトレーニング時間を2倍削減し、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-04T17:54:33Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• HexPlane: A Fast Representation for Dynamic Scenes [18.276921637560445]
  動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。
  論文  参考訳（メタデータ） (2023-01-23T18:59:25Z)
• VolRecon: Volume Rendering of Signed Ray Distance Functions for Generalizable Multi-View Reconstruction [64.09702079593372]
  VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:54Z)
• Dynamic Plane Convolutional Occupancy Networks [4.607145155913717]
  本研究では,3次元表面再構成の精度を高めるために,動的平面畳み込み機能ネットワークを提案する。 完全に接続されたネットワークは、オブジェクトやシーンの形状を最もよく記述する平面パラメータを予測することを学ぶ。 提案手法は,ShapeNetの無向点雲と屋内シーンデータセットからの表面再構成において,優れた性能を示す。
  論文  参考訳（メタデータ） (2020-11-11T14:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。