論文の概要: ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs
- arxiv url: http://arxiv.org/abs/2311.18491v1
- Date: Thu, 30 Nov 2023 12:06:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:42:24.406944
- Title: ZeST-NeRF: Using temporal aggregation for Zero-Shot Temporal NeRFs
- Title(参考訳): ZeST-NeRF:ZeST-NeRFにおける時間的アグリゲーション
- Authors: Violeta Men\'endez Gonz\'alez, Andrew Gilbert, Graeme Phillipson,
Stephen Jolly, Simon Hadfield
- Abstract要約: 本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。
我々は,様々な分野からの最先端のアプローチが,この新たな課題を適切に解決できないことを実証し,本ソリューションの有効性を実証する。
- 参考スコア(独自算出の注目度): 18.338949996255664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the field of media production, video editing techniques play a pivotal
role. Recent approaches have had great success at performing novel view image
synthesis of static scenes. But adding temporal information adds an extra layer
of complexity. Previous models have focused on implicitly representing static
and dynamic scenes using NeRF. These models achieve impressive results but are
costly at training and inference time. They overfit an MLP to describe the
scene implicitly as a function of position. This paper proposes ZeST-NeRF, a
new approach that can produce temporal NeRFs for new scenes without retraining.
We can accurately reconstruct novel views using multi-view synthesis techniques
and scene flow-field estimation, trained only with unrelated scenes. We
demonstrate how existing state-of-the-art approaches from a range of fields
cannot adequately solve this new task and demonstrate the efficacy of our
solution. The resulting network improves quantitatively by 15% and produces
significantly better visual results.
- Abstract(参考訳): メディア制作の分野では、ビデオ編集技術が重要な役割を果たしている。
最近のアプローチは、静的シーンの新しいビューイメージ合成を実行することに成功している。
しかし、時間的情報を加えるとさらに複雑さが増す。
以前のモデルは、NeRFを使用して静的および動的シーンを暗黙的に表現することに焦点を当てていた。
これらのモデルは印象的な結果を得るが、トレーニングや推論にはコストがかかる。
彼らは、そのシーンを暗黙的に位置の関数として記述するためにMDPを過度に適合させた。
本稿では,新たなシーンに時間的NeRFを生成できるZeST-NeRFを提案する。
複数視点合成技術とシーンフロー場推定を用いて,未知のシーンでのみ訓練された新規ビューを正確に再構築することができる。
我々は,既存の最先端のアプローチでは,この新たな課題を十分に解決できないことを実証し,その効果を実証する。
結果として得られるネットワークは、定量的に15%改善され、視覚効果が大幅に向上する。
関連論文リスト
- Knowledge NeRF: Few-shot Novel View Synthesis for Dynamic Articulated Objects [8.981452149411714]
本稿では,動的シーンのための新しいビューを合成するための知識NeRFを提案する。
我々は、音声オブジェクトに対してNeRFモデルを事前訓練し、音声オブジェクトが移動すると、新しい状態における新しいビューを生成することを学習する。
論文 参考訳(メタデータ) (2024-03-31T12:45:23Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳(メタデータ) (2024-03-02T22:08:10Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。
NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。
融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
論文 参考訳(メタデータ) (2023-09-26T18:01:02Z) - Instant Continual Learning of Neural Radiance Fields [78.08008474313809]
ニューラルレイディアンス場(NeRF)は,新規な視点合成と3次元シーン再構成の有効な方法として出現している。
本稿では,リプレイに基づく手法とハイブリッドな明示的シーン表現を併用したNeRFの連続学習フレームワークを提案する。
提案手法は, 連続的な環境下での学習において, 従来手法よりも高い精度で再現性能を向上すると同時に, 桁違いの高速化を図っている。
論文 参考訳(メタデータ) (2023-09-04T21:01:55Z) - ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。
本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
論文 参考訳(メタデータ) (2022-09-18T12:09:15Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳(メタデータ) (2022-09-02T17:44:50Z) - UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural
Radiance Fields [16.826691448973367]
ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させる。
しかし、そのようなニューラルネットワークの解像度とモデルフリー性の向上は、高いトレーニング時間と過剰なメモリ要求のコストが伴う。
本研究では,近隣のサンプル点間で評価を部分的に共有することで,NeRFのサンプルベース計算の冗長性を利用する手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T19:57:07Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳(メタデータ) (2022-04-22T17:57:00Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。