論文の概要: CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video

• arxiv url: http://arxiv.org/abs/2401.04861v2
• Date: Wed, 26 Jun 2024 12:59:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 19:24:20.667610
• Title: CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video
• Title（参考訳）: CTNeRF:モノクルビデオからの動的ニューラルラジアンスフィールドのためのクロス時間変換器
• Authors: Xingyu Miao, Yang Bai, Haoran Duan, Yawen Huang, Fan Wan, Yang Long, Yefeng Zheng,
• Abstract要約: 複雑でダイナミックなシーンのモノクロ映像から高品質な新しいビューを生成するための新しいアプローチを提案する。 物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
• 参考スコア（独自算出の注目度）: 25.551944406980297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of our work is to generate high-quality novel views from monocular videos of complex and dynamic scenes. Prior methods, such as DynamicNeRF, have shown impressive performance by leveraging time-varying dynamic radiation fields. However, these methods have limitations when it comes to accurately modeling the motion of complex objects, which can lead to inaccurate and blurry renderings of details. To address this limitation, we propose a novel approach that builds upon a recent generalization NeRF, which aggregates nearby views onto new viewpoints. However, such methods are typically only effective for static scenes. To overcome this challenge, we introduce a module that operates in both the time and frequency domains to aggregate the features of object motion. This allows us to learn the relationship between frames and generate higher-quality images. Our experiments demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets. Specifically, our approach outperforms existing methods in terms of both the accuracy and visual quality of the synthesized views. Our code is available on https://github.com/xingy038/CTNeRF.
• Abstract（参考訳）: 私たちの研究の目的は、複雑でダイナミックなシーンのモノクロビデオから高品質なノベルビューを生成することです。 従来の手法であるDynamicNeRFは、時間変化の動的放射場を活用することで、優れた性能を示した。 しかし、これらの手法は複雑な物体の動きを正確にモデル化する上で限界があり、不正確でぼやけた詳細の描画につながる可能性がある。 この制限に対処するために,近辺の視点を新たな視点に集約する,最近の一般化NeRFに基づく新しいアプローチを提案する。 しかし、このような手法は静的シーンにのみ有効である。 この課題を克服するために,時間領域と周波数領域の両方で動作するモジュールを導入し,オブジェクトの動きの特徴を集約する。 これにより、フレーム間の関係を学習し、高品質な画像を生成することができる。 実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。 具体的には、合成されたビューの精度と視覚的品質の両方の観点から、既存の手法よりも優れている。 私たちのコードはhttps://github.com/xingy038/CTNeRFで利用可能です。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• RefiNeRF: Modelling dynamic neural radiance fields with inconsistent or missing camera parameters [16.7345472998388]
  新しいビュー合成(NVS)は、限られた入力画像からシーンの新しいビューを合成するコンピュータビジョンにおいて難しい課題である。 本研究では、NVIDIA動的シーンなどの動的データセットからの非ポーズ画像を利用して、データから直接カメラパラメータを学習する手法を提案する。 静的および動的シーンにおける本手法の有効性を実証し,従来のSfMおよびMVS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-15T15:27:18Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。