論文の概要: wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured
using sparse monocular data
- arxiv url: http://arxiv.org/abs/2209.10399v1
- Date: Tue, 20 Sep 2022 14:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 16:34:14.478130
- Title: wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured
using sparse monocular data
- Title(参考訳): wildNeRF:スパースモノクラーデータを用いた地中動的シーンの完全なビュー合成
- Authors: Shuja Khalid, Frank Rudzicz
- Abstract要約: 本稿では,動的非構造シーンの新規視点合成のために,自己教師付きで学習可能な新しいニューラルラジアンスモデルを提案する。
我々のエンドツーエンドのトレーニング可能なアルゴリズムは、数秒で非常に複雑で現実世界の静的なシーンを学習し、数分で剛性と非剛性の両方のダイナミックなシーンを学習する。
- 参考スコア(独自算出の注目度): 16.7345472998388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel neural radiance model that is trainable in a
self-supervised manner for novel-view synthesis of dynamic unstructured scenes.
Our end-to-end trainable algorithm learns highly complex, real-world static
scenes within seconds and dynamic scenes with both rigid and non-rigid motion
within minutes. By differentiating between static and motion-centric pixels, we
create high-quality representations from a sparse set of images. We perform
extensive qualitative and quantitative evaluation on existing benchmarks and
set the state-of-the-art on performance measures on the challenging NVIDIA
Dynamic Scenes Dataset. Additionally, we evaluate our model performance on
challenging real-world datasets such as Cholec80 and SurgicalActions160.
- Abstract(参考訳): 本稿では,動的非構造シーンの新規視点合成のために,自己教師付きで学習可能な新しいニューラルラジアンスモデルを提案する。
エンドツーエンドのトレーニング可能なアルゴリズムは、非常に複雑で実世界の静的なシーンを数秒で学習し、剛体と非剛体の両方で数分以内に動的シーンを学習します。
静止画素と動き中心画素を区別することにより、スパース画像から高品質な表現を生成する。
既存のベンチマークで定性的かつ定量的な評価を行い、NVIDIA Dynamic Scenes Datasetのパフォーマンス測定に最先端を設定します。
また,cholec80 や surgeryactions160 のような実世界の課題データセットにおけるモデル性能の評価を行った。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary
Monocular Cameras [98.40768911788854]
4次元連続時間変動関数を用いて動的シーンをモデル化する表現であるMoCo-Flowを紹介する。
私たちの研究の中心には、運動フロー上の運動コンセンサス正規化によって制約される、新しい最適化の定式化がある。
複雑度の異なる人間の動きを含む複数のデータセット上でMoCo-Flowを広範囲に評価した。
論文 参考訳(メタデータ) (2021-06-08T16:03:50Z) - Dynamic View Synthesis from Dynamic Monocular Video [69.80425724448344]
動的シーンの単眼映像を与えられた任意の視点と任意の入力時間ステップでビューを生成するアルゴリズムを提案する。
カジュアルな映像からの動的ビュー合成の定量的および定性的な結果を示す。
論文 参考訳(メタデータ) (2021-05-13T17:59:50Z) - Neural Trajectory Fields for Dynamic Novel View Synthesis [40.9665251865609]
我々は動的シーンの座標に基づくニューラル表現であるDCT-NeRFを紹介する。
空間の各点の入力シーケンス上で、滑らかで安定した軌跡を学習します。
これにより、シーケンス内の2つのフレーム間の一貫性を強制することができ、その結果、高品質の再構築が可能になります。
論文 参考訳(メタデータ) (2021-05-12T22:38:30Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳(メタデータ) (2020-12-22T23:45:28Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-12-22T18:46:12Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。