論文の概要: BaLi-RF: Bandlimited Radiance Fields for Dynamic Scene Modeling
- arxiv url: http://arxiv.org/abs/2302.13543v1
- Date: Mon, 27 Feb 2023 06:40:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 16:31:28.070225
- Title: BaLi-RF: Bandlimited Radiance Fields for Dynamic Scene Modeling
- Title(参考訳): BaLi-RF:動的シーンモデリングのための帯域制限放射場
- Authors: Sameera Ramasinghe, Violetta Shevchenko, Gil Avraham, Anton Van Den
Hengel
- Abstract要約: 本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
- 参考スコア(独自算出の注目度): 43.246536947828844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning the 3D structure of a non-rigid dynamic scene from a single moving
camera is an under-constrained problem. Inspired by the remarkable progress of
neural radiance fields (NeRFs) in photo-realistic novel view synthesis of
static scenes, extensions have been proposed for dynamic settings. These
methods heavily rely on neural priors in order to regularize the problem. In
this work, we take a step back and reinvestigate how current implementations
may entail deleterious effects, including limited expressiveness, entanglement
of light and density fields, and sub-optimal motion localization. As a remedy,
we advocate for a bridge between classic non-rigid-structure-from-motion
(\nrsfm) and NeRF, enabling the well-studied priors of the former to constrain
the latter. To this end, we propose a framework that factorizes time and space
by formulating a scene as a composition of bandlimited, high-dimensional
signals. We demonstrate compelling results across complex dynamic scenes that
involve changes in lighting, texture and long-range dynamics.
- Abstract(参考訳): 単一の移動カメラから非剛性動的シーンの3d構造を推論することは、制約の少ない問題である。
静的シーンのフォトリアリスティックな新規ビュー合成におけるニューラルラジアンス場(NeRF)の顕著な進歩に触発されて、動的設定のための拡張が提案されている。
これらの手法は問題を正規化するために神経先行性に大きく依存する。
本稿では,現在の実装では,表現力の制限,光・密度場の絡み合い,光学的動作の局所化など,有害な効果が伴う可能性について再検討する。
治療として,従来の非剛体構造からの橋渡し (\nrsfm) とNeRF (NeRF) の橋渡しを提唱する。
そこで本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解する枠組みを提案する。
照明, テクスチャ, 長距離ダイナミックスの変化を伴う, 複雑な動的シーンにまたがる説得力のある結果を示す。
関連論文リスト
- Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳(メタデータ) (2024-01-10T23:26:41Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。
NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。
本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
論文 参考訳(メタデータ) (2023-12-10T11:14:30Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based
Rendering of Dynamic Scenes [1.1470070927586018]
動的シーンのモノクラー・ノウ・ビュー・シンセサイザーのための新しいアプローチを提案する。
FlowIBRは,広く利用可能な静的シーンの大規模なコーパスで事前学習した,ニューラル画像に基づくレンダリング手法を統合する。
我々は、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのようにダイナミックなシーンを提示する。
論文 参考訳(メタデータ) (2023-09-11T12:35:17Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2023-05-24T07:36:47Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。
提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
論文 参考訳(メタデータ) (2021-09-30T17:12:59Z) - Neural Trajectory Fields for Dynamic Novel View Synthesis [40.9665251865609]
我々は動的シーンの座標に基づくニューラル表現であるDCT-NeRFを紹介する。
空間の各点の入力シーケンス上で、滑らかで安定した軌跡を学習します。
これにより、シーケンス内の2つのフレーム間の一貫性を強制することができ、その結果、高品質の再構築が可能になります。
論文 参考訳(メタデータ) (2021-05-12T22:38:30Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。