Fugu-MT 論文翻訳(概要): T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis

論文の概要: T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis

arxiv url: http://arxiv.org/abs/2109.15271v1
Date: Thu, 30 Sep 2021 17:12:59 GMT
ステータス: 処理完了
システム内更新日: 2021-10-01 16:56:11.537887
Title: T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis
Title（参考訳）: T\"oRF:動的シーンビュー合成のための飛行時間放射場
Authors: Benjamin Attal, Eliot Laidlaw, Aaron Gokaslan, Changil Kim, Christian Richardt, James Tompkin, Matthew O'Toole
Abstract要約: 連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
参考スコア（独自算出の注目度）: 32.878225196378374
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural networks can represent and accurately reconstruct radiance fields for static 3D scenes (e.g., NeRF). Several works extend these to dynamic scenes captured with monocular video, with promising performance. However, the monocular setting is known to be an under-constrained problem, and so methods rely on data-driven priors for reconstructing dynamic content. We replace these priors with measurements from a time-of-flight (ToF) camera, and introduce a neural representation based on an image formation model for continuous-wave ToF cameras. Instead of working with processed depth maps, we model the raw ToF sensor measurements to improve reconstruction quality and avoid issues with low reflectance regions, multi-path interference, and a sensor's limited unambiguous depth range. We show that this approach improves robustness of dynamic scene reconstruction to erroneous calibration and large motions, and discuss the benefits and limitations of integrating RGB+ToF sensors that are now available on modern smartphones.
Abstract（参考訳）: ニューラルネットワークは静的な3Dシーン(例えば、NeRF)の放射場を表現し、正確に再構成することができる。いくつかの作品では、これらを単眼映像で捉えたダイナミックなシーンに拡張し、有望なパフォーマンスを実現している。しかし、単眼的な設定は制約の少ない問題であることが知られており、動的コンテンツの再構築にはデータ駆動前処理に依存する。我々は、これらの先行情報を飛行時間(ToF)カメラの計測に置き換え、連続波ToFカメラの画像形成モデルに基づくニューラル表現を導入する。加工深度マップを使用する代わりに、生のToFセンサ測定をモデル化し、再構成品質を改善し、低反射域、マルチパス干渉、センサの非曖昧な深度範囲の問題を回避する。このアプローチは, 動的シーン再構成の堅牢性を向上し, 誤ったキャリブレーションや大きな動きに改善することを示し, 現代のスマートフォンで利用可能なRGB+ToFセンサの利点と限界について議論する。

関連論文リスト

Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。 EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
論文参考訳（メタデータ） (2024-06-20T14:33:51Z)
Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文参考訳（メタデータ） (2024-06-06T03:37:39Z)
SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
論文参考訳（メタデータ） (2024-03-12T11:32:57Z)
CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
論文参考訳（メタデータ） (2023-12-14T09:09:31Z)
NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
論文参考訳（メタデータ） (2023-12-10T11:14:30Z)
ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文参考訳（メタデータ） (2023-12-05T18:59:58Z)
DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文参考訳（メタデータ） (2023-09-16T08:46:59Z)
BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。 BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文参考訳（メタデータ） (2022-11-23T10:53:37Z)
Deblurred Neural Radiance Field with Physical Scene Priors [6.128295038453101]
本稿では,2つの物理的先行条件に制約されたぼやけた画像に対するDP-NeRFフレームワークを提案する。本研究では,2種類のぼかしを有する合成シーンと実シーンに対して,カメラモーションのぼかしとデフォーカスのぼかしの2種類の実験結果を示す。
論文参考訳（メタデータ） (2022-11-22T06:40:53Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文参考訳（メタデータ） (2022-04-22T03:17:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。