論文の概要: NFL-BA: Near-Field Light Bundle Adjustment for SLAM in Dynamic Lighting
- arxiv url: http://arxiv.org/abs/2412.13176v3
- Date: Thu, 18 Sep 2025 21:33:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 14:11:06.838623
- Title: NFL-BA: Near-Field Light Bundle Adjustment for SLAM in Dynamic Lighting
- Title(参考訳): NFL-BA:動的照明におけるSLAMのための近接場光束調整
- Authors: Andrea Dunn Beltran, Daniel Rho, Marc Niethammer, Roni Sengupta,
- Abstract要約: 本稿では, 近接場照明をバンドル調整損失の一部として明示的にモデル化した, 近場照明バンドル調整損失(NFL-BA)について紹介する。
NFL-BAは暗黙的または明示的なシーン表現を持つニューラルネットワークベースのSLAMシステムに統合することができる。
本評価は,SLAMが自律ナビゲーション,非監視領域への誘導,盲点検出,3次元可視化を可能にする内視鏡的手順に重点を置いている。
- 参考スコア(独自算出の注目度): 20.243765488114725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Simultaneous Localization and Mapping (SLAM) systems typically assume static, distant illumination; however, many real-world scenarios, such as endoscopy, subterranean robotics, and search & rescue in collapsed environments, require agents to operate with a co-located light and camera in the absence of external lighting. In such cases, dynamic near-field lighting introduces strong, view-dependent shading that significantly degrades SLAM performance. We introduce Near-Field Lighting Bundle Adjustment Loss (NFL-BA) which explicitly models near-field lighting as a part of Bundle Adjustment loss and enables better performance for scenes captured with dynamic lighting. NFL-BA can be integrated into neural rendering-based SLAM systems with implicit or explicit scene representations. Our evaluations mainly focus on endoscopy procedure where SLAM can enable autonomous navigation, guidance to unsurveyed regions, blindspot detections, and 3D visualizations, which can significantly improve patient outcomes and endoscopy experience for both physicians and patients. Replacing Photometric Bundle Adjustment loss of SLAM systems with NFL-BA leads to significant improvement in camera tracking, 37% for MonoGS and 14% for EndoGS, and leads to state-of-the-art camera tracking and mapping performance on the C3VD colonoscopy dataset. Further evaluation on indoor scenes captured with phone camera with flashlight turned on, also demonstrate significant improvement in SLAM performance due to NFL-BA. See results at https://asdunnbe.github.io/NFL-BA/
- Abstract(参考訳): SLAMシステムは通常、静的で離れた照明を仮定するが、倒壊した環境での内視鏡、地下ロボティクス、捜索・救助などの現実世界のシナリオでは、外部の照明がない場合は、エージェントが同じ位置の光とカメラで操作する必要がある。
このような場合、動的近接場照明は、SLAM性能を著しく低下させる強い視界依存シェーディングを導入する。
本研究では, 近接場照度調整損失 (NFL-BA) をバンドル調整損失の一部として明確にモデル化し, ダイナミック照明で撮影したシーンの性能向上を実現する。
NFL-BAは暗黙的または明示的なシーン表現を持つニューラルネットワークベースのSLAMシステムに統合することができる。
本評価は,SLAMが自律的ナビゲーション,非監視領域への誘導,盲点検出,および3次元可視化を実現し,患者の予後と内視鏡経験を大幅に改善することに焦点を当てた。
NFL-BAによるSLAMシステムの光学的バンドル調整の損失は、カメラトラッキングの大幅な改善、MonoGSが37%、EndoGSが14%、最先端のカメラトラッキングとC3VD大腸内視鏡データセットのマッピングパフォーマンスに繋がる。
フラッシュライトをオンにした電話カメラで撮影した屋内シーンのさらなる評価は、NFL-BAによるSLAM性能の大幅な向上を示す。
https://asdunnbe.github.io/NFL-BA/
関連論文リスト
- Endo-4DGX: Robust Endoscopic Scene Reconstruction and Illumination Correction with Gaussian Splatting [19.767101860583242]
Endo-4DGXは照明適応型ガウススプラッティングを用いた新しい再構成法である。
ガウスレベルの準領域光度をモデル化するための領域認識拡張モジュールを提案する。
我々は、照度適応最適化のために、通常レベルへの悪暴露から外観を回復するために露光制御損失を用いる。
論文 参考訳(メタデータ) (2025-06-29T15:54:15Z) - EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting [7.7956059927002705]
光学的フローロスを幾何学的制約として導入し、シーンの3次元構造とカメラモーションの両方を効果的に制約する。
さらに,SLAMシステムにおけるシーン表現を改善するために,キーフレームに対応する視点に着目して3DGSの洗練戦略を改善する。
提案手法は,新しいビュー合成とポーズ推定において,既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2025-06-26T16:06:46Z) - D3DR: Lighting-Aware Object Insertion in Gaussian Splatting [48.80431740983095]
D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入する手法を提案する。
我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。
提案手法を既存手法と比較することにより,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2025-03-09T19:48:00Z) - FlashSLAM: Accelerated RGB-D SLAM for Real-Time 3D Scene Reconstruction with Gaussian Splatting [14.130327598928778]
FlashSLAMは、3Dガウススプラッティングを有効かつ堅牢な3Dシーン再構築に活用する新しいSLAMアプローチである。
既存の3DGSベースのSLAMメソッドは、スパースビューの設定や大きなカメラの動きの間、しばしば不足する。
提案手法は,従来手法よりも平均追跡精度を最大92%向上させる。
論文 参考訳(メタデータ) (2024-12-01T05:44:38Z) - PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy [1.28795255913358]
本稿では,内視鏡の複雑な取得条件に合わせて,物理ベースで再現可能なモデル内で3D Splattingを利用するフレームワークであるPR-ENDOを提案する。
提案手法は,ベースライン手法に比べて画質が優れていた。
論文 参考訳(メタデータ) (2024-11-19T13:52:30Z) - MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation [15.752529196306648]
本研究では、重度動きブルレッド入力を処理するための高密度視覚SLAMパイプライン(MBA-SLAM)を提案する。
提案手法では,効率的な運動ぼかし対応トラッカーをニューラルネットワークとガウススプラッティングベースのマッパーに統合する。
MBA-SLAMは、カメラのローカライゼーションとマップ再構成の両方において、従来の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-11-13T01:38:06Z) - LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。
提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。
提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-08-06T23:41:57Z) - $ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction [31.64067619807023]
$nu$-DBAは、地図パラメトリゼーションのための3次元暗黙曲面を用いた幾何学的密集束調整(DBA)を実装している。
我々は、高密度マッピングの品質をさらに向上するために、シーンごとの自己スーパービジョンで光学フローモデルを微調整する。
論文 参考訳(メタデータ) (2024-04-29T05:29:26Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-15T01:58:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - SpecNeRF: Gaussian Directional Encoding for Specular Reflections [43.110815974867315]
近接場照明条件下でのビュー依存効果をより良くモデル化するための学習可能なガウス方向符号化法を提案する。
我々の新しい指向性符号化は、近接場照明の空間的に変化する性質を捉え、事前フィルタされた環境マップの挙動をエミュレートする。
これにより、粗さ係数の異なる任意の3次元位置において、事前変換された明色を効率よく評価することができる。
論文 参考訳(メタデータ) (2023-12-20T15:20:25Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [48.190398577764284]
SplaTAMは、単一のRGB-Dカメラからの高忠実度再構成を可能にするアプローチである。
基礎となるガウス表現に合わせて、単純なオンライントラッキングとマッピングシステムを採用している。
実験により,SplaTAMはカメラポーズ推定,マップ構築,既存手法に対する新規ビュー合成において最大2倍の性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。
提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
論文 参考訳(メタデータ) (2023-11-27T18:07:58Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳(メタデータ) (2023-05-07T20:36:29Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳(メタデータ) (2022-07-10T13:47:20Z) - CERL: A Unified Optimization Framework for Light Enhancement with
Realistic Noise [81.47026986488638]
現実世界で撮影された低照度画像は、センサーノイズによって必然的に破損する。
既存の光強調法は、拡張中の現実世界のノイズの重要な影響を見落としているか、ノイズ除去を別の前処理または後処理のステップとして扱うかのどちらかである。
実世界の低照度雑音画像(CERL)のコーディネート・エンハンスメントを行い,光強調部と雑音抑制部を一体化・物理接地したフレームワークにシームレスに統合する。
論文 参考訳(メタデータ) (2021-08-01T15:31:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。