論文の概要: Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2302.09311v1
• Date: Sat, 18 Feb 2023 12:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 19:24:12.640499
• Title: Temporal Interpolation Is All You Need for Dynamic Neural Radiance Fields
• Title（参考訳）: 時間的補間は、動的ニューラルラジアンス場に必要なもの
• Authors: Sungheon Park, Minjung Son, Seokhwan Jang, Young Chun Ahn, Ji-Yeon Kim, Nahyup Kang
• Abstract要約: 2つの特徴法は, 時間的表現, 神経的表現, 格子的表現に依存する。 ニューラル表現では、複数のニューラルネットワークモジュールを介して時空間から特徴を抽出し、時間フレームに基づいてそれらを補間する。 グリッド表現では、時空の特徴は4次元のハッシュグリッドを通して学習される。
• 参考スコア（独自算出の注目度）: 4.863916681385349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal interpolation often plays a crucial role to learn meaningful representations in dynamic scenes. In this paper, we propose a novel method to train four-dimensional spatiotemporal neural radiance fields of dynamic scenes based on temporal interpolation of feature vectors. Two feature interpolation methods are suggested depending on underlying representations, neural or grid representation. In neural representation, we extract features from space-time inputs via multiple neural network modules and interpolate them based on time frames. The proposed multi-level feature interpolation network effectively captures features of both short-term and long-term time ranges. In grid representation, space-time features are learned via four-dimensional hash grids. The grid representation remarkably reduces training time, which is more than 100$\times$ faster compared to the neural network models, while maintaining the rendering quality of trained models. Concatenation of static and dynamic features and addition of simple smoothness term further improves the performance of the proposed models. Despite the simplicity of its network architecture, we demonstrate that the proposed method shows superior performance to previous works in neural representation and shows the fastest training speed in grid representation.
• Abstract（参考訳）: 時間的補間はしばしば動的シーンにおいて意味のある表現を学ぶために重要な役割を果たす。 本稿では,特徴ベクトルの時間的補間に基づく動的シーンの4次元時空間的神経放射場を訓練する新しい手法を提案する。 2つの特徴補間法は、基盤となる表現、ニューラルネットワークまたはグリッド表現に依存する。 ニューラル表現では、複数のニューラルネットワークモジュールを介して時空間入力から特徴を抽出し、時間フレームに基づいてそれらを補間する。 提案するマルチレベル特徴補間ネットワークは、短期的・長期的両方の特徴を効果的に捉える。 グリッド表現では、時空機能は4次元のハッシュグリッドを通して学習される。 グリッド表現はトレーニング時間を大幅に削減し、トレーニングされたモデルのレンダリング品質を維持しながら、ニューラルネットワークモデルよりも100$\times$以上高速である。 静的および動的特徴の連結と単純な滑らかさ項の追加により,提案モデルの性能がさらに向上する。 ネットワークアーキテクチャの単純さにもかかわらず,提案手法は従来のニューラル表現よりも優れた性能を示し,グリッド表現における最速のトレーニング速度を示す。

関連論文リスト

• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Scalable Spatiotemporal Graph Neural Networks [14.415967477487692]
  グラフニューラルネットワーク(GNN)は、しばしば予測アーキテクチャのコアコンポーネントである。 ほとんどの時間前GNNでは、計算複雑性はグラフ内のリンクの回数のシーケンスの長さの2乗係数までスケールする。 本稿では,時間的・空間的両方のダイナミックスを効率的に符号化するスケーラブルなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-09-14T09:47:38Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Differentiable Point-Based Radiance Fields for Efficient View Synthesis [57.56579501055479]
  本稿では,効率的な新規ビュー合成のための微分可能レンダリングアルゴリズムを提案する。 我々の手法は、トレーニングと推論の両方において、NeRFよりも最大300倍高速である。 ダイナミックなシーンでは,STNeRFよりも2桁早く,ほぼインタラクティブなレートでレンダリングを行う。
  論文  参考訳（メタデータ） (2022-05-28T04:36:13Z)
• Spatio-Temporal Transformer for Dynamic Facial Expression Recognition in the Wild [19.5702895176141]
  本稿では,各フレームモデル内の異種特徴を抽出する手法を提案する。 我々はCNNを用いて各フレームを視覚的特徴系列に変換する。 実験の結果,本手法は空間的および時間的依存を効果的に活用できることが示された。
  論文  参考訳（メタデータ） (2022-05-10T08:47:15Z)
• Neural Adaptive SCEne Tracing [24.781844909539686]
  NAScenTは,ハイブリッド・明示的ニューラル表現を直接訓練した最初のニューラルレンダリング手法である。 NAScenTは、UAVが捕獲した屋外環境のような、大きくて人口の少ないボリュームを含む、困難なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2022-02-28T10:27:23Z)
• Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
  我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。 われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。 そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:55:50Z)
• Coarse-Fine Networks for Temporal Activity Detection in Videos [45.03545172714305]
  Co-Fine Networks」は、時間分解の異なる抽象化の恩恵を受け、長期的な動きのためのより良いビデオ表現を学ぶ2流アーキテクチャです。 提案手法は,計算量とメモリフットプリントを大幅に削減して,公開データセットにおける動作検出の最先端を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T20:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。