論文の概要: ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs

• arxiv url: http://arxiv.org/abs/2311.18491v1
• Date: Thu, 30 Nov 2023 12:06:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 16:42:24.406944
• Title: ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs
• Title（参考訳）: ZeST-NeRF:ZeST-NeRFにおける時間的アグリゲーション
• Authors: Violeta Men\'endez Gonz\'alez, Andrew Gilbert, Graeme Phillipson, Stephen Jolly, Simon Hadfield
• Abstract要約: 本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。 我々は,様々な分野からの最先端のアプローチが,この新たな課題を適切に解決できないことを実証し,本ソリューションの有効性を実証する。
• 参考スコア（独自算出の注目度）: 18.338949996255664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of media production, video editing techniques play a pivotal role. Recent approaches have had great success at performing novel view image synthesis of static scenes. But adding temporal information adds an extra layer of complexity. Previous models have focused on implicitly representing static and dynamic scenes using NeRF. These models achieve impressive results but are costly at training and inference time. They overfit an MLP to describe the scene implicitly as a function of position. This paper proposes ZeST-NeRF, a new approach that can produce temporal NeRFs for new scenes without retraining. We can accurately reconstruct novel views using multi-view synthesis techniques and scene flow-field estimation, trained only with unrelated scenes. We demonstrate how existing state-of-the-art approaches from a range of fields cannot adequately solve this new task and demonstrate the efficacy of our solution. The resulting network improves quantitatively by 15% and produces significantly better visual results.
• Abstract（参考訳）: メディア制作の分野では、ビデオ編集技術が重要な役割を果たしている。 最近のアプローチは、静的シーンの新しいビューイメージ合成を実行することに成功している。 しかし、時間的情報を加えるとさらに複雑さが増す。 以前のモデルは、NeRFを使用して静的および動的シーンを暗黙的に表現することに焦点を当てていた。 これらのモデルは印象的な結果を得るが、トレーニングや推論にはコストがかかる。 彼らは、そのシーンを暗黙的に位置の関数として記述するためにMDPを過度に適合させた。 本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。 複数視点合成技術とシーンフロー場推定を用いて,未知のシーンでのみ訓練された新規ビューを正確に再構築することができる。 我々は,既存の最先端のアプローチでは,この新たな課題を十分に解決できないことを実証し,その効果を実証する。 結果として得られるネットワークは、定量的に15%改善され、視覚効果が大幅に向上する。

関連論文リスト

• $C^{3}$-NeRF: Modeling Multiple Scenes via Conditional-cum-Continual Neural Radiance Fields [17.411855207380256]
  本稿では,1つの神経放射場のパラメータに複数のシーンを対応させる,C3$-NeRF(C3$-NeRF)と呼ばれる条件付き累進的フレームワークを提案する。 新たなパラメータを追加することなく、高品質なノベルビューレンダリングで複数のシーンに対応できるNeRFモデルの本質的能力を実証する。
  論文  参考訳（メタデータ） (2024-11-29T18:05:16Z)
• SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
  我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。 本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。 実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-09-06T03:36:12Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video [25.551944406980297]
  複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
  論文  参考訳（メタデータ） (2024-01-10T00:40:05Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Instant Continual Learning of Neural Radiance Fields [78.08008474313809]
  ニューラルレイディアンス場(NeRF)は,新規な視点合成と3次元シーン再構成の有効な方法として出現している。 本稿では,リプレイに基づく手法とハイブリッドな明示的シーン表現を併用したNeRFの連続学習フレームワークを提案する。 提案手法は, 連続的な環境下での学習において, 従来手法よりも高い精度で再現性能を向上すると同時に, 桁違いの高速化を図っている。
  論文  参考訳（メタデータ） (2023-09-04T21:01:55Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields [16.826691448973367]
  ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させる。 しかし、そのようなニューラルネットワークの解像度とモデルフリー性の向上は、高いトレーニング時間と過剰なメモリ要求のコストが伴う。 本研究では,近隣のサンプル点間で評価を部分的に共有することで,NeRFのサンプルベース計算の冗長性を利用する手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T19:57:07Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。