論文の概要: HexPlane: A Fast Representation for Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2301.09632v1
• Date: Mon, 23 Jan 2023 18:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 12:40:14.821828
• Title: HexPlane: A Fast Representation for Dynamic Scenes
• Title（参考訳）: hexplane: 動的シーンのための高速な表現
• Authors: Ang Cao, Justin Johnson
• Abstract要約: 動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。
• 参考スコア（独自算出の注目度）: 18.276921637560445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling and re-rendering dynamic 3D scenes is a challenging task in 3D vision. Prior approaches build on NeRF and rely on implicit representations. This is slow since it requires many MLP evaluations, constraining real-world applications. We show that dynamic 3D scenes can be explicitly represented by six planes of learned features, leading to an elegant solution we call HexPlane. A HexPlane computes features for points in spacetime by fusing vectors extracted from each plane, which is highly efficient. Pairing a HexPlane with a tiny MLP to regress output colors and training via volume rendering gives impressive results for novel view synthesis on dynamic scenes, matching the image quality of prior work but reducing training time by more than $100\times$. Extensive ablations confirm our HexPlane design and show that it is robust to different feature fusion mechanisms, coordinate systems, and decoding mechanisms. HexPlanes are a simple and effective solution for representing 4D volumes, and we hope they can broadly contribute to modeling spacetime for dynamic 3D scenes.
• Abstract（参考訳）: ダイナミックな3Dシーンのモデリングと再レンダリングは、3Dビジョンでは難しい課題だ。 以前のアプローチはNeRF上に構築され、暗黙の表現に依存していた。 多くのMLP評価を必要とし、現実世界のアプリケーションに制約を加えるため、これは遅い。 動的3Dシーンは、6つの学習された特徴の平面で明示的に表現できることを示し、HexPlaneと呼ばれるエレガントなソリューションを生み出します。 HexPlaneは、高効率な各平面から抽出されたベクトルを融合させることにより、時空の点の特徴を計算する。 hexplaneと小さなmlpを組み合わせることで、出力色やボリュームレンダリングによるトレーニングは、ダイナミックシーンの新しいビュー合成に印象的な結果をもたらし、以前の作業の画質にマッチすると同時に、トレーニング時間を100ドル以上削減する。 広範なアブレーションによりhexplaneの設計を確認し,異なる核融合機構,座標系,復号機構に頑健であることが確認された。 HexPlanesは4Dボリュームを表現するためのシンプルで効果的なソリューションであり、ダイナミックな3Dシーンの時空モデリングに広く貢献できることを願っています。

関連論文リスト

• Seeing 3D Objects in a Single Image via Self-Supervised Static-Dynamic Disentanglement [90.04272671464238]
  本研究では,未ラベルのマルチビュー映像を訓練時に観察し,複雑なシーンの単一画像観察を学習する手法を提案する。 我々は,2次元のニューラルグラウンド計画を用いて,移動可能かつ移動不能なシーンをパラメータ化する。 本研究では,この不整合3次元表現に固有の構造が,街路規模の3次元シーンにおいて,様々な下流作業を可能にすることを実証する。
  論文  参考訳（メタデータ） (2022-07-22T17:41:24Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
  最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。 既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。 既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
  論文  参考訳（メタデータ） (2022-06-15T17:44:22Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• Dynamic Plane Convolutional Occupancy Networks [4.607145155913717]
  本研究では,3次元表面再構成の精度を高めるために,動的平面畳み込み機能ネットワークを提案する。 完全に接続されたネットワークは、オブジェクトやシーンの形状を最もよく記述する平面パラメータを予測することを学ぶ。 提案手法は,ShapeNetの無向点雲と屋内シーンデータセットからの表面再構成において,優れた性能を示す。
  論文  参考訳（メタデータ） (2020-11-11T14:24:52Z)
• Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors [69.02332607843569]
  PriSMONetは、単一画像から多目的3Dシーンの分解と表現を学習するための新しいアプローチである。 リカレントエンコーダは、入力されたRGB画像から、各オブジェクトの3D形状、ポーズ、テクスチャの潜時表現を回帰する。 我々は,3次元シーンレイアウトの推測におけるモデルの精度を評価し,その生成能力を実証し,実画像への一般化を評価し,学習した表現の利点を指摘する。
  論文  参考訳（メタデータ） (2020-10-08T14:49:23Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。