論文の概要: HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2106.13228v1
• Date: Thu, 24 Jun 2021 17:59:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-25 14:56:12.487947
• Title: HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields
• Title（参考訳）: HyperNeRF: トポロジカルに可変なニューラルラジアンス場のための高次元表現
• Authors: Keunhong Park, Utkarsh Sinha, Peter Hedman, Jonathan T. Barron, Sofien Bouaziz, Dan B Goldman, Ricardo Martin-Brualla, Steven M. Seitz
• Abstract要約: 非剛体シーンを再構成するための一般的なアプローチは、各入力画像の座標から標準テンプレート座標空間への学習された変形場マッピングを使用することである。 我々は、NeRFを高次元空間に上げ、この「ハイパースペース」を通して個々の入力画像に対応する5次元放射場をスライスとして表現することで、この制限に対処する。 提案手法は,HyperNeRFをダブした手法で,両タスクの既存の手法よりも有意なマージンで優れていることを示す。
• 参考スコア（独自算出の注目度）: 45.8031461350167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) are able to reconstruct scenes with unprecedented fidelity, and various recent works have extended NeRF to handle dynamic scenes. A common approach to reconstruct such non-rigid scenes is through the use of a learned deformation field mapping from coordinates in each input image into a canonical template coordinate space. However, these deformation-based approaches struggle to model changes in topology, as topological changes require a discontinuity in the deformation field, but these deformation fields are necessarily continuous. We address this limitation by lifting NeRFs into a higher dimensional space, and by representing the 5D radiance field corresponding to each individual input image as a slice through this "hyper-space". Our method is inspired by level set methods, which model the evolution of surfaces as slices through a higher dimensional surface. We evaluate our method on two tasks: (i) interpolating smoothly between "moments", i.e., configurations of the scene, seen in the input images while maintaining visual plausibility, and (ii) novel-view synthesis at fixed moments. We show that our method, which we dub HyperNeRF, outperforms existing methods on both tasks by significant margins. Compared to Nerfies, HyperNeRF reduces average error rates by 8.6% for interpolation and 8.8% for novel-view synthesis, as measured by LPIPS.
• Abstract（参考訳）: neural radiance fields (nerf) は前例のない忠実度でシーンを再構築することができ、最近の様々な作品では、動的シーンを扱うためにnerfを拡張している。 このような非剛性シーンを再構築するための一般的なアプローチは、入力画像の各座標から標準テンプレート座標空間への学習された変形場マッピングを使用することである。 しかし、位相変化は変形場の不連続性を必要とするため、これらの変形に基づくアプローチはトポロジーの変化のモデル化に苦しむが、これらの変形場は必ずしも連続である。 我々は、nerfを高次元空間に持ち上げ、各入力画像に対応する5次元放射率場をこの「超空間」を通してスライスとして表現することで、この制限に対処する。 本手法は,高次元表面のスライスとして表面の進化をモデル化するレベルセット法に着想を得たものである。 提案手法は,2つのタスクにおいて, (i) 「モーメント(moments)」,すなわち, 入力画像に見られるシーンの構成を, 視覚的な可視性を維持しながらスムーズに補間し, (ii) 固定された瞬間に新規な視点合成を行うことで評価する。 提案手法は,HyperNeRFをダブした手法で,両タスクの既存手法よりも有意差で優れていることを示す。 Nerfiesと比較して、HyperNeRFはLPIPSによって測定された平均誤差率を補間で8.6%、新規ビュー合成で8.8%削減する。

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• InterNeRF: Scaling Radiance Fields via Parameter Interpolation [36.014610797521605]
  モデルパラメータのサブセットを用いてターゲットビューをレンダリングする新しいアーキテクチャであるInterNeRFを提案する。 標準ベンチマークでは競争力を維持しながら,マルチルームシーンにおいて大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-06-17T16:55:22Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Forward Flow for Novel View Synthesis of Dynamic Scenes [97.97012116793964]
  本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。 本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-29T16:51:06Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields [36.09829614806658]
  ニューラルレージアンスフィールドの局所-グローバル登録法であるL2G-NeRFを提案する。 ピクセルワイドな局所アライメントは、ディープネットワークを介して教師なしの方法で学習される。 提案手法は,高忠実度再構築と大型カメラの誤認識の解消の観点から,現在の最先端技術よりも優れる。
  論文  参考訳（メタデータ） (2022-11-21T14:43:16Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。