論文の概要: SeaSplat: Representing Underwater Scenes with 3D Gaussian Splatting and a Physically Grounded Image Formation Model
- arxiv url: http://arxiv.org/abs/2409.17345v1
- Date: Wed, 25 Sep 2024 20:45:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-30 12:15:34.903465
- Title: SeaSplat: Representing Underwater Scenes with 3D Gaussian Splatting and a Physically Grounded Image Formation Model
- Title（参考訳）: SeaSplat:3次元ガウス平滑化と地上画像形成モデルによる水中シーンの表現
- Authors: Daniel Yang, John J. Leonard, Yogesh Girdhar,
- Abstract要約: 本研究では,最近の3次元放射場の発展を生かした水中シーンのリアルタイムレンダリングを可能にするSeaSplatを紹介する。
SeaSplatを、アメリカ領ヴァージン諸島の水中車両が収集したSeaThru-NeRFデータセットの現実世界のシーンに適用する。
水中画像形成はシーン構造を学習し, 深度マップを改良し, 3次元ガウス表現の活用による計算精度の向上を図った。
- 参考スコア（独自算出の注目度）: 11.57677379828992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SeaSplat, a method to enable real-time rendering of underwater scenes leveraging recent advances in 3D radiance fields. Underwater scenes are challenging visual environments, as rendering through a medium such as water introduces both range and color dependent effects on image capture. We constrain 3D Gaussian Splatting (3DGS), a recent advance in radiance fields enabling rapid training and real-time rendering of full 3D scenes, with a physically grounded underwater image formation model. Applying SeaSplat to the real-world scenes from SeaThru-NeRF dataset, a scene collected by an underwater vehicle in the US Virgin Islands, and simulation-degraded real-world scenes, not only do we see increased quantitative performance on rendering novel viewpoints from the scene with the medium present, but are also able to recover the underlying true color of the scene and restore renders to be without the presence of the intervening medium. We show that the underwater image formation helps learn scene structure, with better depth maps, as well as show that our improvements maintain the significant computational improvements afforded by leveraging a 3D Gaussian representation.
- Abstract（参考訳）: 本研究では,最近の3次元放射場の発展を生かした水中シーンのリアルタイムレンダリングを可能にするSeaSplatを紹介する。
水中のシーンは、水のような媒体を通してレンダリングすることで、画像のキャプチャーに範囲と色に依存した効果がもたらされるため、視覚的な環境が困難である。
我々は3Dガウススプラッティング(3DGS)を制約し,水中画像形成モデルを用いて3Dシーンの高速トレーニングとリアルタイムレンダリングを可能にした。
SeaSplatを、アメリカ領ヴァージン諸島の水中車両が収集したシーンであるSeaThru-NeRFデータセットの現実世界のシーンに適用し、シミュレーションで劣化した現実世界のシーンに適用する。
水中画像形成はシーン構造を学習し, 深度マップを改良し, 3次元ガウス表現の活用による計算精度の向上を図った。
関連論文リスト
- Aquatic-GS: A Hybrid 3D Representation for Underwater Scenes [6.549998173302729]
本研究では,水中の物体と水媒体の両方を効果的に表現するハイブリッド3D表現手法であるAquatic-GSを提案する。
具体的には、暗黙的に水パラメータをモデル化するニューラルウォーターフィールド(NWF)を構築し、最新の3Dガウススプラッティング(3DGS)を拡張してオブジェクトを明示的にモデル化する。
両方のコンポーネントは、複雑な水中シーンを表現するために、物理学に基づく水中画像形成モデルを介して統合される。
論文 参考訳（メタデータ） (2024-10-31T22:24:56Z) - WaterSplatting: Fast Underwater 3D Scene Reconstruction Using Gaussian Splatting [39.58317527488534]
本研究では,水中データ処理を効果的に行うために,ボリュームレンダリングを3DGSで融合する手法を提案する。
提案手法は,海底シースルー-ネRFデータセットのレンダリング品質において,最先端のNeRF法よりも優れていた。
論文 参考訳（メタデータ） (2024-08-15T15:16:49Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳（メタデータ） (2024-01-19T16:15:37Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - Ghost on the Shell: An Expressive Representation of General 3D Shapes [97.76840585617907]
リアルな素材と照明で高速な物理ベースのレンダリングを可能にするので、メッシュは魅力的だ。
近年の3次元形状の再構成と統計的モデリングの研究は、メッシュをトポロジカルに非フレキシブルであると批判している。
我々は水密面上の多様体符号距離場を定義することにより開曲面をパラメータ化する。
G-Shellは、非水密メッシュ再構築および生成タスクにおける最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-10-23T17:59:52Z) - SUCRe: Leveraging Scene Structure for Underwater Color Restoration [1.9490160607392462]
本研究では,シーンの3次元構造を利用した水中色復元手法であるSUCReを紹介する。
我々は、自然光から深海環境まで様々なシナリオにおいて、我々のアプローチを定量的、質的に分析する。
論文 参考訳（メタデータ） (2022-12-18T16:53:13Z) - PhotoScene: Photorealistic Material and Lighting Transfer for Indoor
Scenes [84.66946637534089]
PhotoSceneは、シーンの入力画像を取得し、高品質な素材と同様の照明を備えたフォトリアリスティックデジタルツインを構築するフレームワークである。
プロシージャ素材グラフを用いてシーン素材をモデル化し、そのようなグラフはフォトリアリスティックおよび解像度非依存の材料を表す。
ScanNet, SUN RGB-D, ストック写真からのオブジェクトとレイアウトの再構築について検討し, 高品質で完全に再現可能な3Dシーンを再現できることを実証した。
論文 参考訳（メタデータ） (2022-07-02T06:52:44Z) - Underwater Light Field Retention : Neural Rendering for Underwater
Imaging [6.22867695581195]
水中画像レンダリングは、指定されたクリーンな画像から本物の水中画像を生成することを目的としている。
本稿では,UWNR(Underwater Neural Rendering)と呼ばれる水中画像のニューラルネットワークレンダリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-21T14:22:05Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z) - Deep Sea Robotic Imaging Simulator [6.2122699483618]
海洋の最大の部分である深海は、現在もほとんど未調査のままである。
深海画像は浅い海域で撮影された画像とは大きく異なり、この地域はコミュニティからはあまり注目されなかった。
本稿では,空気中のテクスチャと深度情報を入力として利用する物理モデルに基づく画像シミュレーションソリューションを提案する。
論文 参考訳（メタデータ） (2020-06-27T16:18:32Z) - 3D Photography using Context-aware Layered Depth Inpainting [50.66235795163143]
本稿では、1枚のRGB-D入力画像を3D写真に変換する方法を提案する。
学習に基づく着色モデルでは,新しい局所的な色と深度を隠蔽領域に合成する。
結果の3D写真は、モーションパララックスで効率よくレンダリングできる。
論文 参考訳（メタデータ） (2020-04-09T17:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。