論文の概要: FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based
Rendering of Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2309.05418v1
- Date: Mon, 11 Sep 2023 12:35:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 12:49:54.924830
- Title: FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based
Rendering of Dynamic Scenes
- Title(参考訳): FlowIBR: 動的シーンの効率的なニューラルイメージベースレンダリングのための事前学習
- Authors: Marcel B\"usching, Josef Bengtson, David Nilsson, M{\aa}rten
Bj\"orkman
- Abstract要約: 動的シーンのモノクラー・ノウ・ビュー・シンセサイザーのための新しいアプローチを提案する。
FlowIBRは,広く利用可能な静的シーンの大規模なコーパスで事前学習した,ニューラル画像に基づくレンダリング手法を統合する。
我々は、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのようにダイナミックなシーンを提示する。
- 参考スコア(独自算出の注目度): 1.1470070927586018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel approach for monocular novel view synthesis of dynamic
scenes. Existing techniques already show impressive rendering quality but tend
to focus on optimization within a single scene without leveraging prior
knowledge. This limitation has been primarily attributed to the lack of
datasets of dynamic scenes available for training and the diversity of scene
dynamics. Our method FlowIBR circumvents these issues by integrating a neural
image-based rendering method, pre-trained on a large corpus of widely available
static scenes, with a per-scene optimized scene flow field. Utilizing this flow
field, we bend the camera rays to counteract the scene dynamics, thereby
presenting the dynamic scene as if it were static to the rendering network. The
proposed method reduces per-scene optimization time by an order of magnitude,
achieving comparable results to existing methods - all on a single
consumer-grade GPU.
- Abstract(参考訳): 本稿では,動的シーンの単眼的新規ビュー合成のための新しいアプローチを提案する。
既存の技術はすでに印象的なレンダリング品質を示していますが、事前の知識を生かさずに単一のシーン内で最適化することに重点を置いています。
この制限は、トレーニング用に利用可能な動的シーンのデータセットの欠如と、シーンダイナミクスの多様性に起因する。
筆者らのFlowIBRでは,広範に利用可能な静的シーンのコーパスを事前学習したニューラルイメージベースのレンダリング手法を,シーン毎に最適化されたシーンフローフィールドと組み合わせることで,これらの問題を回避している。
この流れ場を利用することで、カメラ線を曲げてシーンのダイナミックスに対処し、レンダリングネットワークに静的であるかのように動的シーンを提示する。
提案手法は,1つのコンシューマグレードのGPU上で,既存の手法に匹敵する結果が得られるため,シーンごとの最適化時間を桁違いに短縮する。
関連論文リスト
- CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
論文 参考訳(メタデータ) (2023-02-27T06:40:32Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary
Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。
私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。
複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文 参考訳(メタデータ) (2021-06-08T16:03:50Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳(メタデータ) (2021-02-25T18:56:21Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z) - Neural Scene Graphs for Dynamic Scenes [57.65413768984925]
動的シーンをシーングラフに分解する最初のニューラルレンダリング手法を提案する。
我々は暗黙的に符号化されたシーンと、単一の暗黙の関数でオブジェクトを記述するために共同で学習された潜在表現を組み合わせる。
論文 参考訳(メタデータ) (2020-11-20T12:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。