論文の概要: Material-informed Gaussian Splatting for 3D World Reconstruction in a Digital Twin

• arxiv url: http://arxiv.org/abs/2511.20348v1
• Date: Tue, 25 Nov 2025 14:25:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.504189
• Title: Material-informed Gaussian Splatting for 3D World Reconstruction in a Digital Twin
• Title（参考訳）: デジタル双生児における3次元世界再構成のための材料インフォームドガウススプラッティング
• Authors: João Malheiro Silva, Andy Huynh, Tong Duy Son, Holger Caesar,
• Abstract要約: 従来のLiDAR-カメラ融合アプローチは複雑なキャリブレーションを必要とし、ガラスのような特定の材料といまだに苦労している。 多視点画像から3次元ガウススプラッティングを用いてシーンを再構成するカメラのみのパイプラインを提案する。 このアプローチは、光現実的再構成と物理に基づく物質割り当てを組み合わせることで、LiDAR-camera融合に匹敵するセンサーシミュレーションフィデリティを提供する。
• 参考スコア（独自算出の注目度）: 9.932207949877636
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: 3D reconstruction for Digital Twins often relies on LiDAR-based methods, which provide accurate geometry but lack the semantics and textures naturally captured by cameras. Traditional LiDAR-camera fusion approaches require complex calibration and still struggle with certain materials like glass, which are visible in images but poorly represented in point clouds. We propose a camera-only pipeline that reconstructs scenes using 3D Gaussian Splatting from multi-view images, extracts semantic material masks via vision models, converts Gaussian representations to mesh surfaces with projected material labels, and assigns physics-based material properties for accurate sensor simulation in modern graphics engines and simulators. This approach combines photorealistic reconstruction with physics-based material assignment, providing sensor simulation fidelity comparable to LiDAR-camera fusion while eliminating hardware complexity and calibration requirements. We validate our camera-only method using an internal dataset from an instrumented test vehicle, leveraging LiDAR as ground truth for reflectivity validation alongside image similarity metrics.
• Abstract（参考訳）: Digital Twinsの3D再構成は、正確な幾何学を提供するが、カメラが自然に捉えたセマンティクスやテクスチャに欠けるLiDARベースの手法に依存することが多い。 従来のLiDAR-カメラ融合法は複雑なキャリブレーションを必要とし、画像では見えるが点雲では表現できないガラスのような特定の材料といまだに苦労している。 マルチビュー画像から3次元ガウススプラッティングを用いてシーンを再構成し、視覚モデルを用いて意味物質マスクを抽出し、ガウス表現を投影された材料ラベルでメッシュ表面に変換し、最新のグラフィックスエンジンやシミュレータで正確なセンサシミュレーションを行う物理材料特性を割り当てる。 このアプローチは、ハードウェアの複雑さとキャリブレーションの要求をなくしながら、LiDAR-camera融合に匹敵するセンサーシミュレーションフィデリティを提供する。 実験車両の内部データセットを用いてカメラのみの手法を検証し、LiDARを画像類似度指標とともに反射率検証に活用する。

関連論文リスト

• Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation [1.0027737736304287]
  ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。 提案手法は,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。 ノイズの多いLiDAR点雲からの奥行き正則化により、元の画像上でカスタマイズされたNeRFモデルをトレーニングすることで、これを実現する。
  論文  参考訳（メタデータ） (2025-03-12T15:18:50Z)
• FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [69.63414788486578]
  FreeSplatterはスケーラブルなフィードフォワードフレームワークで、キャリブレーションされていないスパースビュー画像から高品質な3Dガウシアンを生成する。 当社のアプローチでは,自己注意ブロックが情報交換を容易にする合理化トランスフォーマーアーキテクチャを採用している。 包括的データセットに基づいて,オブジェクト中心とシーンレベルの再構築のための2つの特殊な変種を開発する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:53Z)
• LetsGo: Large-Scale Garage Modeling and Rendering via LiDAR-Assisted Gaussian Primitives [44.06145846507639]
  LetsGoは、大規模ガレージモデリングとレンダリングのためのLiDAR支援のガウススプレイティングフレームワークである。 多様な幾何学構造を持つ8つのガレージシーンからなるGarageWorldデータセットを提示する。 レンダリング画像中の浮動小片を効果的に除去する新しい深度正規化器を提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:50:44Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning [38.72679977945778]
  我々は多視点空中画像を用いて、ニューラルサイン距離場(SDF)を用いたファサードの形状、照明、材料を再構成する。 本実験は, ファサード全体の逆レンダリング, 新規なビュー合成, シーン編集において, 最先端のベースラインと比較して, 手法の優れた品質を示すものである。
  論文  参考訳（メタデータ） (2023-11-20T15:03:56Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• GaussiGAN: Controllable Image Synthesis with 3D Gaussians from Unposed Silhouettes [48.642181362172906]
  対象物の粗い3次元表現を多視点2次元マスク監視から学習するアルゴリズムを提案する。 既存のボクセルを用いた物体再構成法とは対照的に,提案手法は生成した形状やポーズを表現することを学ぶ。 リアル照明を用いた合成データセットの結果を示し、対話的なポーズによるオブジェクト挿入を実証する。
  論文  参考訳（メタデータ） (2021-06-24T17:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。