論文の概要: Generating Synthetic Stereo Datasets using 3D Gaussian Splatting and Expert Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2506.04908v1
- Date: Thu, 05 Jun 2025 11:41:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.679637
- Title: Generating Synthetic Stereo Datasets using 3D Gaussian Splatting and Expert Knowledge Transfer
- Title(参考訳): 3次元ガウススプラッティングと知識伝達を用いた合成ステレオデータセットの生成
- Authors: Filip Slezak, Magnus K. Gjerde, Joakim B. Haurum, Ivan Nikolov, Morten S. Laursen, Thomas B. Moeslund,
- Abstract要約: ステレオデータセット生成のための3D Gaussian Splatting(3DGS)ベースのパイプラインを導入し、Neural Radiance Fields(NeRF)ベースの手法の効率的な代替手段を提供する。
3DGS生成データセット上でのステレオモデルを微調整すると、ゼロショット一般化ベンチマークにおいて競合性能を示す。
- 参考スコア(独自算出の注目度): 16.040335263873278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a 3D Gaussian Splatting (3DGS)-based pipeline for stereo dataset generation, offering an efficient alternative to Neural Radiance Fields (NeRF)-based methods. To obtain useful geometry estimates, we explore utilizing the reconstructed geometry from the explicit 3D representations as well as depth estimates from the FoundationStereo model in an expert knowledge transfer setup. We find that when fine-tuning stereo models on 3DGS-generated datasets, we demonstrate competitive performance in zero-shot generalization benchmarks. When using the reconstructed geometry directly, we observe that it is often noisy and contains artifacts, which propagate noise to the trained model. In contrast, we find that the disparity estimates from FoundationStereo are cleaner and consequently result in a better performance on the zero-shot generalization benchmarks. Our method highlights the potential for low-cost, high-fidelity dataset creation and fast fine-tuning for deep stereo models. Moreover, we also reveal that while the latest Gaussian Splatting based methods have achieved superior performance on established benchmarks, their robustness falls short in challenging in-the-wild settings warranting further exploration.
- Abstract(参考訳): 本稿では,3次元ガウススプラッティング(3DGS)を用いたステレオデータセット生成パイプラインを導入し,NeRF(Neural Radiance Fields)方式の効率的な代替手段を提供する。
有用な幾何推定値を得るため,明快な3次元表現から再構成された幾何と,専門知識伝達装置におけるFoundationStereoモデルからの深度推定を探索する。
3DGS生成データセット上でのステレオモデルを微調整すると、ゼロショット一般化ベンチマークにおいて競合性能を示す。
再構成幾何を直接使用する場合、しばしばノイズがあり、訓練されたモデルにノイズを伝達する人工物を含むことが観察される。
対照的に、FoundationStereoの差分推定はよりクリーンであり、結果としてゼロショットの一般化ベンチマークの性能が向上する。
提案手法は, 低コストで高忠実なデータセット作成と, 深層ステレオモデルのための高速微調整の可能性を強調した。
さらに,最新のガウススプティングに基づく手法は,確立されたベンチマークにおいて優れた性能を達成しているが,その堅牢性は,さらなる探索が保証されるようなWild内の設定に挑戦するには不十分であることも明らかにした。
関連論文リスト
- EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳(メタデータ) (2025-03-26T02:47:27Z) - MVS-GS: High-Quality 3D Gaussian Splatting Mapping via Online Multi-View Stereo [9.740087094317735]
オンライン多視点ステレオ手法を用いた高品質な3DGSモデリングのための新しいフレームワークを提案する。
本手法は,局所時間窓から逐次フレームを用いてMVS深度を推定し,包括的深度改善手法を適用した。
実験の結果,本手法は最先端の高密度SLAM法より優れていた。
論文 参考訳(メタデータ) (2024-12-26T09:20:04Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳(メタデータ) (2024-11-19T11:59:54Z) - Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。
提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。
提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
論文 参考訳(メタデータ) (2024-10-06T23:01:57Z) - Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs [27.364205809607302]
3D Gaussian Splatting (GS) は、基礎となる3Dシーンの形状を正確に表現するのにかなり苦労している。
この制限に対処し、最適化プロセス全体を通して深度事前の統合を包括的に分析する。
この後者は、容易に利用できるステレオネットワークからの奥行きを動的に利用し、トレーニング中にGSモデル自身がレンダリングした仮想ステレオペアを処理し、一貫した自己改善を実現する。
論文 参考訳(メタデータ) (2024-09-11T17:59:58Z) - R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。
本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
論文 参考訳(メタデータ) (2024-05-31T08:39:02Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳(メタデータ) (2024-04-16T17:57:19Z) - GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise [0.0]
本稿では3Dコンテンツ生成フレームワークであるGaussian Diffusionについて,Gaussian Splattingに基づく新しいテキストを紹介した。
3次元生成における多視点一貫性の実現という課題は、モデリングの複雑さと精度を著しく損なう。
本稿では,3次元外観の質と安定性を高めるため,変分ガウススメッティング法を提案する。
論文 参考訳(メタデータ) (2023-11-19T04:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。