論文の概要: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment
- arxiv url: http://arxiv.org/abs/2412.13176v2
- Date: Wed, 19 Mar 2025 18:38:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 19:00:48.448025
- Title: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment
- Title（参考訳）: NFL-BA: 近距離光束調整による内視鏡的SLAMの改善
- Authors: Andrea Dunn Beltran, Daniel Rho, Stephen Pizer, Marc Niethammer, Roni Sengupta,
- Abstract要約: 内視鏡ビデオからのSLAMは、自律的なナビゲーション、監視されていない地域へのガイダンス、盲点検出、3D視覚化を可能にする。
既存の高密度SLAMアルゴリズムは、遠距離および静的照明を仮定し、シーン幾何学とカメラパラメータを最適化する。
近接場照明は、既存のSLAMフレームワークの光測定バンドル調整を、屋内や屋外のシーンに比べて低調に行う。
従来の光束調整損失をNFL-BAに置き換えることで,ニューラル暗黙的SLAMと3DGS SLAMを用いて改善できることを示す。
- 参考スコア（独自算出の注目度）: 14.06420641609448
- License:
- Abstract: Simultaneous Localization And Mapping (SLAM) from endoscopy videos can enable autonomous navigation, guidance to unsurveyed regions, blindspot detections, and 3D visualizations, which can significantly improve patient outcomes and endoscopy experience for both physicians and patients. Existing dense SLAM algorithms often assume distant and static lighting and optimize scene geometry and camera parameters by minimizing a photometric rendering loss, often called Photometric Bundle Adjustment. However, endoscopy videos exhibit dynamic near-field lighting due to the co-located light and camera moving extremely close to the surface. In addition, low texture surfaces in endoscopy videos cause photometric bundle adjustment of the existing SLAM frameworks to perform poorly compared to indoor/outdoor scenes. To mitigate this problem, we introduce Near-Field Lighting Bundle Adjustment Loss (NFL-BA) which explicitly models near-field lighting as a part of Bundle Adjustment loss and enables better performance for low texture surfaces. Our proposed NFL-BA can be applied to any neural-rendering based SLAM framework. We show that by replacing traditional photometric bundle adjustment loss with our proposed NFL-BA results in improvement, using neural implicit SLAM and 3DGS SLAMs. In addition to producing state-of-the-art tracking and mapping results on colonoscopy C3VD dataset we also show improvement on real colonoscopy videos. See results at https://asdunnbe.github.io/NFL-BA/
- Abstract（参考訳）: 内視鏡ビデオからの同時局在とマッピング(SLAM)は、自律的なナビゲーション、監視されていない領域へのガイダンス、盲点検出、および3D可視化を可能にし、医師と患者双方の内視鏡経験を大幅に改善することができる。
既存の高密度SLAMアルゴリズムは、遠方および静的な照明を仮定し、フォトメトリック・バンドル調整(Photometric Bundle Adjustment)と呼ばれるフォトメトリック・レンダリング損失を最小限にすることで、シーンの幾何学とカメラパラメータを最適化する。
しかし、内視鏡ビデオは、同じ位置にある光とカメラが地表に非常に近づいたため、ダイナミックな近接場照明を示す。
さらに、内視鏡映像の低テクスチャ表面は、既存のSLAMフレームワークの光度バンドル調整を、屋内や屋外のシーンと比べて粗悪なパフォーマンスに導く。
この問題を緩和するために, 近接場照明調整損失 (NFL-BA) を導入し, 低テクスチャ面の高性能化を実現した。
提案するNFL-BAは,ニューラルレンダリングに基づくSLAMフレームワークに適用可能である。
従来の光束調整損失をNFL-BAに置き換えることで,ニューラル暗黙的SLAMと3DGS SLAMを用いて改善できることを示す。
大腸内視鏡C3VDデータセットにおける最先端の追跡とマッピング結果の生成に加えて,実際の大腸内視鏡ビデオの改善も示す。
https://asdunnbe.github.io/NFL-BA/
関連論文リスト
- Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping [12.027762278121052]
Endo-2DTAMは2次元ガウススプラッティング(2DGS)を用いたリアルタイム内視鏡SLAMシステムである
私たちのロバストなトラッキングモジュールは、ポイントツーポイントとポイントツープレーン距離のメトリクスを組み合わせています。
マッピングモジュールは, 通常の整合性および深さ歪みを利用して表面再構成品質を向上する。
論文 参考訳（メタデータ） (2025-01-31T17:15:34Z) - FlashSLAM: Accelerated RGB-D SLAM for Real-Time 3D Scene Reconstruction with Gaussian Splatting [14.130327598928778]
FlashSLAMは、3Dガウススプラッティングを有効かつ堅牢な3Dシーン再構築に活用する新しいSLAMアプローチである。
既存の3DGSベースのSLAMメソッドは、スパースビューの設定や大きなカメラの動きの間、しばしば不足する。
提案手法は,従来手法よりも平均追跡精度を最大92%向上させる。
論文 参考訳（メタデータ） (2024-12-01T05:44:38Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - $ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction [31.64067619807023]
$nu$-DBAは、地図パラメトリゼーションのための3次元暗黙曲面を用いた幾何学的密集束調整(DBA)を実装している。
我々は、高密度マッピングの品質をさらに向上するために、シーンごとの自己スーパービジョンで光学フローモデルを微調整する。
論文 参考訳（メタデータ） (2024-04-29T05:29:26Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - SpecNeRF: Gaussian Directional Encoding for Specular Reflections [43.110815974867315]
近接場照明条件下でのビュー依存効果をより良くモデル化するための学習可能なガウス方向符号化法を提案する。
我々の新しい指向性符号化は、近接場照明の空間的に変化する性質を捉え、事前フィルタされた環境マップの挙動をエミュレートする。
これにより、粗さ係数の異なる任意の3次元位置において、事前変換された明色を効率よく評価することができる。
論文 参考訳（メタデータ） (2023-12-20T15:20:25Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。