論文の概要: DyLiN: Making Light Field Networks Dynamic

• arxiv url: http://arxiv.org/abs/2303.14243v1
• Date: Fri, 24 Mar 2023 19:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 21:05:18.366540
• Title: DyLiN: Making Light Field Networks Dynamic
• Title（参考訳）: DyLiN:光電界ネットワークを動的にする
• Authors: Heng Yu, Joel Julin, Zoltan A. Milacski, Koichiro Niinuma, Laszlo A. Jeni
• Abstract要約: 非剛性変形を処理できる動的光場ネットワーク(DyLiN)を提案する。 また、制御可能な属性入力でDyLiNを増強するCoDyLiNも導入する。 DyLiNは、視覚的忠実度の観点から、質的に優れ、定量的に最先端の手法と一致した。
• 参考スコア（独自算出の注目度）: 8.479186000343484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Light Field Networks, the re-formulations of radiance fields to oriented rays, are magnitudes faster than their coordinate network counterparts, and provide higher fidelity with respect to representing 3D structures from 2D observations. They would be well suited for generic scene representation and manipulation, but suffer from one problem: they are limited to holistic and static scenes. In this paper, we propose the Dynamic Light Field Network (DyLiN) method that can handle non-rigid deformations, including topological changes. We learn a deformation field from input rays to canonical rays, and lift them into a higher dimensional space to handle discontinuities. We further introduce CoDyLiN, which augments DyLiN with controllable attribute inputs. We train both models via knowledge distillation from pretrained dynamic radiance fields. We evaluated DyLiN using both synthetic and real world datasets that include various non-rigid deformations. DyLiN qualitatively outperformed and quantitatively matched state-of-the-art methods in terms of visual fidelity, while being 25 - 71x computationally faster. We also tested CoDyLiN on attribute annotated data and it surpassed its teacher model. Project page: https://dylin2023.github.io .
• Abstract（参考訳）: 光電場から配向線へのリフォーミュレーションである光電場ネットワークは、座標ネットワークよりも高速で、2次元観測から3次元構造を表現することができる。 一般的なシーンの表現や操作には適しているが、ひとつの問題に悩まされている。 本稿では,位相変化を含む非剛性変形を処理可能な動的光電界ネットワーク(dylin)法を提案する。 入力光線から正準光線への変形場を学習し、それらを高次元空間に持ち上げて不連続を扱う。 さらに,制御可能な属性入力でDyLiNを拡張するCoDyLiNを紹介する。 我々は,事前学習した動的放射場から知識蒸留により両方のモデルを訓練する。 種々の非剛性変形を含む合成および実世界のデータセットを用いてDyLiNを評価した。 DyLiNは、25倍から71倍の計算速度を保ちながら、視覚的忠実度の観点から、定性的かつ定量的に最先端の手法に適合した。 また,属性付データに対してCoDyLiNを試験し,教師モデルを上回った。 プロジェクトページ: https://dylin2023.github.io

関連論文リスト

• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
  ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。 この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
  論文  参考訳（メタデータ） (2023-12-06T00:46:30Z)
• RGB-D Mapping and Tracking in a Plenoxel Radiance Field [5.239559610798646]
  ビュー合成モデルと3次元再構成モデルの間に重要な相違点を示す。 また、一般的な外向きのシーンにおける正確な幾何学をモデル化するために、奥行きセンサが不可欠である理由についてもコメントする。 提案手法は,タスクのマッピングと追跡を両立させるとともに,競合するニューラルネットワークのアプローチよりも高速である。
  論文  参考訳（メタデータ） (2023-07-07T06:05:32Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Generative Occupancy Fields for 3D Surface-Aware Image Synthesis [123.11969582055382]
  GOF(Generative Occupancy Fields)は、生成放射場に基づく新しいモデルである。 GOFは高品質な画像を3D整合性で合成し、コンパクトで滑らかな物体表面を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-11-01T14:20:43Z)
• Animatable Neural Radiance Fields for Human Body Modeling [54.41477114385557]
  本稿では,多視点映像から人間モデルを再構築する課題について述べる。 変形場を生成するためにニューラルブレンド重量場を導入する。 実験の結果,我々のアプローチは最近の人間の手法を大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-05-06T17:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。