論文の概要: Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion
- arxiv url: http://arxiv.org/abs/2404.04687v1
- Date: Sat, 6 Apr 2024 17:23:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 20:00:13.106298
- Title: Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion
- Title(参考訳): Z-Splat:Z-Axis Gaussian Splatting for Camera-Sonar Fusion
- Authors: Ziyuan Qu, Omkar Vengurlekar, Mohamad Qadri, Kevin Zhang, Michael Kaess, Christopher Metzler, Suren Jayasuriya, Adithya Pediredla,
- Abstract要約: 3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSはよく知られた「抜ける円錐」問題に悩まされており、深さ軸に沿った再建が不十分である。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 20.464224937528222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable 3D-Gaussian splatting (GS) is emerging as a prominent technique in computer vision and graphics for reconstructing 3D scenes. GS represents a scene as a set of 3D Gaussians with varying opacities and employs a computationally efficient splatting operation along with analytical derivatives to compute the 3D Gaussian parameters given scene images captured from various viewpoints. Unfortunately, capturing surround view ($360^{\circ}$ viewpoint) images is impossible or impractical in many real-world imaging scenarios, including underwater imaging, rooms inside a building, and autonomous navigation. In these restricted baseline imaging scenarios, the GS algorithm suffers from a well-known 'missing cone' problem, which results in poor reconstruction along the depth axis. In this manuscript, we demonstrate that using transient data (from sonars) allows us to address the missing cone problem by sampling high-frequency data along the depth axis. We extend the Gaussian splatting algorithms for two commonly used sonars and propose fusion algorithms that simultaneously utilize RGB camera data and sonar data. Through simulations, emulations, and hardware experiments across various imaging scenarios, we show that the proposed fusion algorithms lead to significantly better novel view synthesis (5 dB improvement in PSNR) and 3D geometry reconstruction (60% lower Chamfer distance).
- Abstract(参考訳): 3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSは、様々な不透明度を持つ3Dガウスの集合としてシーンを表現し、様々な視点から捉えたシーン画像から得られる3Dガウスのパラメータを計算するために、解析的微分とともに計算効率の良いスプレイティング演算を用いる。
残念なことに、水中イメージング、建物内の部屋、自律ナビゲーションなど、現実の多くのシナリオでは、サラウンドビュー(360^{\circ}$ view)の画像の撮影は不可能か、現実的ではない。
これらの制限されたベースラインイメージングのシナリオでは、GSアルゴリズムはよく知られた「ミス・コーン」問題に悩まされ、深さ軸に沿った再構成が不十分になる。
本稿では, ソナーから得られた過渡的データを用いて, 奥行き軸に沿った高周波データをサンプリングすることにより, 行方不明なコーン問題に対処できることを実証する。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
シミュレーション,エミュレーション,ハードウェア実験により,提案した融合アルゴリズムは,新しいビュー合成(PSNR 5dB改良)と3次元幾何再構成(チャンファー距離60%下)を著しく向上させることを示した。
関連論文リスト
- HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2 [1.1874952582465603]
私たちは、Microsoft HoloLens 2の能力をインスタント3Dガウススプレイティングに活用しています。
HoloLensセンサーデータを利用した新しいワークフローであるHoloGSを紹介し、前処理ステップの必要性を回避した。
文化遺産像の屋外シーンと細構造植物室内シーンの2つの自撮りシーンに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-05-03T11:08:04Z) - Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。
しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。
本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。
我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
論文 参考訳(メタデータ) (2024-04-16T11:44:12Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - HO-Gaussian: Hybrid Optimization of 3D Gaussian Splatting for Urban Scenes [24.227745405760697]
本稿では,グリッドベースボリュームと3DGSパイプラインを組み合わせたHO-Gaussianというハイブリッド最適化手法を提案する。
広範に使用されている自律走行データセットの結果から,HO-Gaussianはマルチカメラ都市データセット上でリアルタイムに写真リアリスティックレンダリングを実現することが示された。
論文 参考訳(メタデータ) (2024-03-29T07:58:21Z) - 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - Segment Anything in 3D Gaussians [69.68566640585671]
ニューラルレイディアンス場(NeRF)の代替3次元表現として3次元ガウス散乱が出現した
3Dガウス表現は未解析であるため、まずこの領域内でオブジェクトセグメンテーションを実行する必要がある。
本研究では,3次元ガウス空間における物体分割を,学習過程や学習パラメータを使わずに,対話的な手順で実現するための新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳(メタデータ) (2023-12-25T09:47:33Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳(メタデータ) (2023-12-04T18:59:55Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。