論文の概要: Reconstruction Using the Invisible: Intuition from NIR and Metadata for Enhanced 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2508.14443v1
- Date: Wed, 20 Aug 2025 05:58:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-21 16:52:41.353196
- Title: Reconstruction Using the Invisible: Intuition from NIR and Metadata for Enhanced 3D Gaussian Splatting
- Title（参考訳）: Invisibleを用いた再構成:NIRからの直感と3次元ガウススプラッティングのためのメタデータ
- Authors: Gyusam Chang, Tuan-Anh Vu, Vivek Alumootil, Harris Song, Deanna Pham, Sangpil Kim, M. Khalid Jawed,
- Abstract要約: 農業シーンは3次元再構築法に特有の課題を呈している。
我々は、近赤外線(NIR)画像、RGB画像、テキストメタデータ、Depth、LiDARデータを含む新しいマルチモーダルデータセットであるtextbfNIRPlantを紹介する。
我々は,3Dポイントベース位置符号化とクロスアテンション機構を組み合わせた効果的なマルチモーダルガウススプラッティングアーキテクチャである textbfNIRSplat を提案する。
- 参考スコア（独自算出の注目度）: 2.1684193267057603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While 3D Gaussian Splatting (3DGS) has rapidly advanced, its application in agriculture remains underexplored. Agricultural scenes present unique challenges for 3D reconstruction methods, particularly due to uneven illumination, occlusions, and a limited field of view. To address these limitations, we introduce \textbf{NIRPlant}, a novel multimodal dataset encompassing Near-Infrared (NIR) imagery, RGB imagery, textual metadata, Depth, and LiDAR data collected under varied indoor and outdoor lighting conditions. By integrating NIR data, our approach enhances robustness and provides crucial botanical insights that extend beyond the visible spectrum. Additionally, we leverage text-based metadata derived from vegetation indices, such as NDVI, NDWI, and the chlorophyll index, which significantly enriches the contextual understanding of complex agricultural environments. To fully exploit these modalities, we propose \textbf{NIRSplat}, an effective multimodal Gaussian splatting architecture employing a cross-attention mechanism combined with 3D point-based positional encoding, providing robust geometric priors. Comprehensive experiments demonstrate that \textbf{NIRSplat} outperforms existing landmark methods, including 3DGS, CoR-GS, and InstantSplat, highlighting its effectiveness in challenging agricultural scenarios. The code and dataset are publicly available at: https://github.com/StructuresComp/3D-Reconstruction-NIR
- Abstract（参考訳）: 3D Gaussian Splatting (3DGS) は急速に進歩しているが、農業への応用はいまだに過小評価されている。
農業シーンは、特に不均一な照明、閉塞、限られた視野のために、3次元再構築法に固有の課題を呈している。
これらの制約に対処するために,近赤外(NIR)画像,RGB画像,テキストメタデータ,Depth,LiDARデータを含む新しいマルチモーダルデータセットである「textbf{NIRPlant}」を紹介した。
NIRデータを統合することで、我々のアプローチは堅牢性を高め、可視スペクトルを超えて広がる重要な植物学的洞察を提供する。
さらに,NDVI,NDWI,クロロフィル指数などの植生指標から得られたテキストベースのメタデータを活用し,複雑な農業環境の文脈的理解を著しく強化する。
これらのモダリティをフル活用するために,3次元の点ベース位置符号化とクロスアテンション機構を組み合わせた効果的なマルチモーダル・ガウス・スプレイティング・アーキテクチャである \textbf{NIRSplat} を提案する。
総合的な実験により、textbf{NIRSplat}は3DGS、CoR-GS、InstantSplatなど、既存の画期的な手法よりも優れており、農業シナリオに挑戦する上での有効性を強調している。
コードとデータセットは、https://github.com/StructuresComp/3D-Reconstruction-NIRで公開されている。
関連論文リスト
- GSFusion:Globally Optimized LiDAR-Inertial-Visual Mapping for Gaussian Splatting [20.665306154754564]
本稿では,GSFusionを提案する。これはLDAR-Inertial-Visual Mapのオンラインマッピングシステムで,グローバルなポーズグラフ最適化におけるサーベイル・ツー・サーフェル制約による高精度マップの整合性を保証する。
公開とデータセットの実験では、既存の3DGS SLAMシステムよりも、レンダリング品質とマップ構築効率が優れています。
論文 参考訳（メタデータ） (2025-07-31T06:15:51Z) - TVG-SLAM: Robust Gaussian Splatting SLAM with Tri-view Geometric Constraints [22.121665995381324]
TVG-SLAMはRGBのみの堅牢な3DGS SLAMシステムである。
本手法はロバスト性を向上し,平均的絶対軌道誤差(ATE)を69.0%削減し,最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2025-06-29T12:31:05Z) - Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting [95.61137026932062]
Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。
Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2025-05-27T05:17:49Z) - Diffusion-Guided Gaussian Splatting for Large-Scale Unconstrained 3D Reconstruction and Novel View Synthesis [22.767866875051013]
本稿では,現行手法の限界に対処する多視点拡散モデルを用いて,新しい3DGSフレームワークであるGS-Diffを提案する。
マルチビュー入力に条件付き擬似観測を生成することにより、制約の少ない3次元再構成問題をよく表されたものに変換する。
4つのベンチマークの実験では、GS-Diffは最先端のベースラインをかなりのマージンで一貫して上回っている。
論文 参考訳（メタデータ） (2025-04-02T17:59:46Z) - MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction [84.07233691641193]
高品質な再構成のための神経信号距離場(SDF)とプリミティブを結合する新しい手法であるMonoGSDFを紹介する。
任意のスケールのシーンを扱うために,ロバストな一般化のためのスケーリング戦略を提案する。
実世界のデータセットの実験は、効率を保ちながら、以前の方法よりも優れています。
論文 参考訳（メタデータ） (2024-11-25T20:07:07Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T11:59:54Z) - GSPR: Multimodal Place Recognition Using 3D Gaussian Splatting for Autonomous Driving [9.023864430027333]
我々はGPSRと呼ばれる3次元ガウススプラッティングに基づくマルチモーダル位置認識ネットワークを提案する。
マルチビューRGB画像とLiDAR点雲を時間的に統一されたシーン表現とMultimodal Gaussian Splattingを明示的に組み合わせている。
提案手法は,多視点カメラとLiDARの相補的強度を有効活用し,ソタ位置認識性能を向上し,ソタ位置認識性能を向上する。
論文 参考訳（メタデータ） (2024-10-01T00:43:45Z) - GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF [2.4673377627220323]
本稿では,新しい3次元表現手法を用いたマルチモーダルな大規模シーン再構築ベンチマークを提案する。
GauU-Sceneは6.5平方キロメートル以上をカバーし、LiDARの地上真実と組み合わせた総合的なRGBデータセットを備えている。
ドローンによるデータセットのためのLiDARおよび画像アライメント手法を最初に提案する。
論文 参考訳（メタデータ） (2024-04-07T08:51:31Z) - Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。
これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。
TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-12-20T18:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。