Fugu-MT 論文翻訳(概要): High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting

論文の概要: High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting

arxiv url: http://arxiv.org/abs/2502.04630v1
Date: Fri, 07 Feb 2025 03:17:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-10 14:55:51.007876
Title: High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting
Title（参考訳）: センサ・フュージョン・スプレイティングによる高速ダイナミック3次元イメージング
Authors: Zihao Zou, Ziyuan Qu, Xi Peng, Vivek Boominathan, Adithya Pediredla, Praneeth Chakravarthula,
Abstract要約: 高速なダイナミック3Dシーンのキャプチャと再構成は、コンピュータグラフィックス、ビジョン、ロボット工学、空気力学、進化生物学などの学際分野に多くの応用がある。従来のRGBカメラはフレームレートが低く、露出時間が限られ、ベースラインが狭い。本稿では,RGB,深度,イベントカメラを組み合わせて高速でシーンを撮影・再構成するガウススプラッティングを用いた新しいセンサ融合手法を提案する。
参考スコア（独自算出の注目度）: 15.309934457166394
License:
Abstract: Capturing and reconstructing high-speed dynamic 3D scenes has numerous applications in computer graphics, vision, and interdisciplinary fields such as robotics, aerodynamics, and evolutionary biology. However, achieving this using a single imaging modality remains challenging. For instance, traditional RGB cameras suffer from low frame rates, limited exposure times, and narrow baselines. To address this, we propose a novel sensor fusion approach using Gaussian splatting, which combines RGB, depth, and event cameras to capture and reconstruct deforming scenes at high speeds. The key insight of our method lies in leveraging the complementary strengths of these imaging modalities: RGB cameras capture detailed color information, event cameras record rapid scene changes with microsecond resolution, and depth cameras provide 3D scene geometry. To unify the underlying scene representation across these modalities, we represent the scene using deformable 3D Gaussians. To handle rapid scene movements, we jointly optimize the 3D Gaussian parameters and their temporal deformation fields by integrating data from all three sensor modalities. This fusion enables efficient, high-quality imaging of fast and complex scenes, even under challenging conditions such as low light, narrow baselines, or rapid motion. Experiments on synthetic and real datasets captured with our prototype sensor fusion setup demonstrate that our method significantly outperforms state-of-the-art techniques, achieving noticeable improvements in both rendering fidelity and structural accuracy.
Abstract（参考訳）: 高速なダイナミック3Dシーンのキャプチャと再構成は、コンピュータグラフィックス、ビジョン、ロボット工学、空気力学、進化生物学などの学際分野に多くの応用がある。しかし、単一の画像モダリティを用いてこれを実現することは依然として困難である。例えば、従来のRGBカメラはフレームレートが低く、露出時間が限られ、ベースラインが狭い。そこで本稿では,RGB,深度,イベントカメラを組み合わせたガウススプラッティングを用いた新しいセンサ融合手法を提案する。 RGBカメラは詳細なカラー情報をキャプチャし、イベントカメラはマイクロ秒解像度で迅速なシーン変化を記録し、ディープカメラは3Dシーンの幾何学を提供する。これらのモダリティをまたいだシーン表現を統一するために、変形可能な3Dガウスアンを用いてシーンを表現する。本研究では,3つのセンサモードからのデータを統合することで,3次元ガウスパラメータと時間的変形場を協調的に最適化する。この融合により、低照度、狭いベースライン、急激な動きといった困難な条件下であっても、高速で複雑なシーンを効率よく高画質で撮影することができる。プロトタイプのセンサー融合装置で得られた合成データセットと実データセットの実験により、我々の手法は最先端技術よりも優れており、レンダリング精度と構造精度の両方において顕著な改善が達成されている。

関連論文リスト

E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文参考訳（メタデータ） (2024-10-22T13:17:20Z)
EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文参考訳（メタデータ） (2024-10-20T13:44:24Z)
SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
論文参考訳（メタデータ） (2024-07-14T03:19:30Z)
EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
論文参考訳（メタデータ） (2024-05-29T04:59:27Z)
MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文参考訳（メタデータ） (2024-04-01T04:57:41Z)
Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文参考訳（メタデータ） (2024-03-20T06:19:41Z)
Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文参考訳（メタデータ） (2024-03-12T06:04:50Z)
VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文参考訳（メタデータ） (2024-02-27T11:40:50Z)
An Asynchronous Linear Filter Architecture for Hybrid Event-Frame Cameras [9.69495347826584]
本稿では,HDRビデオ再構成と空間畳み込みのための非同期線形フィルタアーキテクチャを提案する。提案したAKFパイプラインは、絶対強度誤差(69.4%削減)と画像類似度指数(平均35.5%改善)の両方において、他の最先端手法よりも優れている。
論文参考訳（メタデータ） (2023-09-03T12:37:59Z)
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文参考訳（メタデータ） (2022-12-22T18:54:34Z)
Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文参考訳（メタデータ） (2021-11-29T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。