論文の概要: HexPlane: A Fast Representation for Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2301.09632v2
• Date: Mon, 27 Mar 2023 16:39:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 00:42:44.066032
• Title: HexPlane: A Fast Representation for Dynamic Scenes
• Title（参考訳）: hexplane: 動的シーンのための高速な表現
• Authors: Ang Cao, Justin Johnson
• Abstract要約: 動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。
• 参考スコア（独自算出の注目度）: 18.276921637560445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling and re-rendering dynamic 3D scenes is a challenging task in 3D vision. Prior approaches build on NeRF and rely on implicit representations. This is slow since it requires many MLP evaluations, constraining real-world applications. We show that dynamic 3D scenes can be explicitly represented by six planes of learned features, leading to an elegant solution we call HexPlane. A HexPlane computes features for points in spacetime by fusing vectors extracted from each plane, which is highly efficient. Pairing a HexPlane with a tiny MLP to regress output colors and training via volume rendering gives impressive results for novel view synthesis on dynamic scenes, matching the image quality of prior work but reducing training time by more than $100\times$. Extensive ablations confirm our HexPlane design and show that it is robust to different feature fusion mechanisms, coordinate systems, and decoding mechanisms. HexPlane is a simple and effective solution for representing 4D volumes, and we hope they can broadly contribute to modeling spacetime for dynamic 3D scenes.
• Abstract（参考訳）: ダイナミックな3Dシーンのモデリングと再レンダリングは、3Dビジョンでは難しい課題だ。 以前のアプローチはNeRF上に構築され、暗黙の表現に依存していた。 多くのMLP評価を必要とし、現実世界のアプリケーションに制約を加えるため、これは遅い。 動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。 hexplaneと小さなmlpを組み合わせることで、出力色やボリュームレンダリングによるトレーニングは、ダイナミックシーンの新しいビュー合成に印象的な結果をもたらし、以前の作業の画質にマッチすると同時に、トレーニング時間を100ドル以上削減する。 広範なアブレーションによりhexplaneの設計を確認し,異なる核融合機構,座標系,復号機構に頑健であることが確認された。 HexPlaneは4Dボリュームを表現するためのシンプルで効果的なソリューションであり、ダイナミックな3Dシーンの時空モデリングに広く貢献できることを願っています。

関連論文リスト

• SliceOcc: Indoor 3D Semantic Occupancy Prediction with Vertical Slice Representation [50.420711084672966]
  室内3Dセマンティック占有予測に適したRGBカメラベースモデルであるSliceOccを提案する。 EmbodiedScanデータセットの実験結果は、SliceOccが81の屋内カテゴリで15.45%のmIoUを達成したことを示している。
  論文  参考訳（メタデータ） (2025-01-28T03:41:24Z)
• Fused-Planes: Improving Planar Representations for Learning Large Sets of 3D Scenes [8.847448988112903]
  大規模なシーンを学習するフレームワークにおいて,Tri-Planesの資源効率を向上させる新しい平面アーキテクチャであるFused-Planesを紹介した。 i)圧縮モデルと共同でシーンの最初のサブセットを訓練し、(ii)圧縮モデルを用いて残りのシーンを学習する。 この圧縮モデルは、Fused-Planesが学習される3D対応の潜在空間で構成され、レンダリングの解像度を低減し、シーン間の共有構造によりシーン表現の複雑さを低減させる。
  論文  参考訳（メタデータ） (2024-10-31T08:58:00Z)
• DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes [61.07023022220073]
  大規模で高品質なLiDARシーンを生成できる新しい4D LiDAR生成フレームワークであるDynamicCityを紹介する。 特にDynamicCityは、4D LiDAR機能を6つの2D特徴マップに効果的に圧縮するために新しいプロジェクションモジュールを使用している。 特に、HexPlaneの6つの特徴面全てを正方形2次元特徴写像として再編成するために、Padded Rollout Operationを提案する。
  論文  参考訳（メタデータ） (2024-10-23T17:59:58Z)
• DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction [26.39519157164198]
  DaRePlaneは、6つの異なる方向からダイナミクスをキャプチャする新しい表現手法である。 DaRePlaneは様々な複雑なダイナミックシーンのための新しいビュー合成において最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2024-10-18T04:19:10Z)
• OSN: Infinite Representations of Dynamic 3D Scenes from Monocular Videos [7.616167860385134]
  モノクラーRGBビデオから基礎となる動的3Dシーンの表現を復元することは、長い間困難であった。 我々はOSNと呼ばれる新しいフレームワークを導入し、入力ビデオにマッチする高機能な3Dシーン構成を学習する。 本手法は, きめ細かい3次元シーン形状を学習する上で, 明らかな優位性を示す。
  論文  参考訳（メタデータ） (2024-07-08T05:03:46Z)
• BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation [96.58789785954409]
  本研究では,同変放射場と鳥眼視図のガイダンスを組み込んだ実用的で効率的な3次元表現を提案する。 局所的なシーンを合成し、スムーズな一貫性で縫い合わせることで、大規模で無限スケールの3Dシーンを作ります。
  論文  参考訳（メタデータ） (2023-12-04T18:56:10Z)
• Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes [69.52540205439989]
  グリッドベースの幾何表現と多視点画像に基づく外観表現からなるハイブリッド表現であるIm4Dを紹介する。 画像の特徴から3Dポイントの色を予測することを学習する,オリジナルのマルチビュービデオとネットワークによってシーンの外観を表現する。 我々は,512x512画像に対して,79.8 FPSのリアルタイムレンダリングを実現しつつ,レンダリング品質が向上し,効率よくトレーニングできるIm4Dの最先端性能を示す。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• K-Planes: Explicit Radiance Fields in Space, Time, and Appearance [32.78595254330191]
  任意の次元の放射場に対するホワイトボックスモデルであるk平面を導入する。 我々のモデルは、D次元のシーンを表現するためにd choose 2平面を使用し、静的なシーンからダイナミックなシーンへシームレスな方法を提供します。 合成され、リアルで、静的で、動的で、固定され、様々な外観シーンにおいて、k面は競争力があり、しばしば最先端の復元忠実さをもたらす。
  論文  参考訳（メタデータ） (2023-01-24T18:59:08Z)
• VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
  最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。 既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。 既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
  論文  参考訳（メタデータ） (2022-06-15T17:44:22Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。