論文の概要: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment
- arxiv url: http://arxiv.org/abs/2412.13176v1
- Date: Tue, 17 Dec 2024 18:54:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:20.958069
- Title: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment
- Title（参考訳）: NFL-BA: 近距離光束調整による内視鏡的SLAMの改善
- Authors: Andrea Dunn Beltran, Daniel Rho, Marc Niethammer, Roni Sengupta,
- Abstract要約: モノクロ内視鏡ビデオからの同時局所化とマッピングは、自律的なナビゲーション、監視されていない地域へのガイダンス、そして3D視覚化を可能にする。
既存の高密度SLAMアルゴリズムは、遠方および静的な照明とテクスチャ面を仮定することが多い。
我々は、新しいNear-Field Lighting Bundle Adjustment Loss $(L_NFL-BA)$を導入する。
- 参考スコア（独自算出の注目度）: 15.088726951324299
- License:
- Abstract: Simultaneous Localization And Mapping (SLAM) from a monocular endoscopy video can enable autonomous navigation, guidance to unsurveyed regions, and 3D visualizations, which can significantly improve endoscopy experience for surgeons and patient outcomes. Existing dense SLAM algorithms often assume distant and static lighting and textured surfaces, and alternate between optimizing scene geometry and camera parameters by minimizing a photometric rendering loss, often called Photometric Bundle Adjustment. However, endoscopic environments exhibit dynamic near-field lighting due to the co-located light and camera moving extremely close to the surface, textureless surfaces, and strong specular reflections due to mucus layers. When not considered, these near-field lighting effects can cause significant performance reductions for existing SLAM algorithms from indoor/outdoor scenes when applied to endoscopy videos. To mitigate this problem, we introduce a new Near-Field Lighting Bundle Adjustment Loss $(L_{NFL-BA})$ that can also be alternatingly optimized, along with the Photometric Bundle Adjustment loss, such that the captured images' intensity variations match the relative distance and orientation between the surface and the co-located light and camera. We derive a general NFL-BA loss function for 3D Gaussian surface representations and demonstrate that adding $L_{NFL-BA}$ can significantly improve the tracking and mapping performance of two state-of-the-art 3DGS-SLAM systems, MonoGS (35% improvement in tracking, 48% improvement in mapping with predicted depth maps) and EndoGSLAM (22% improvement in tracking, marginal improvement in mapping with predicted depths), on the C3VD endoscopy dataset for colons. The project page is available at https://asdunnbe.github.io/NFL-BA/
- Abstract（参考訳）: 単眼内視鏡ビデオからの同時局在とマッピング(SLAM)は、自律的なナビゲーション、監視されていない領域へのガイダンス、および3D可視化を可能にし、外科医の内視鏡経験と患者の結果を大幅に改善することができる。
既存の高密度SLAMアルゴリズムは、遠方および静的な照明とテクスチャ面を仮定し、フォトメトリック・バンドル・アジャイメント(Photometric Bundle Adjustment)と呼ばれるフォトメトリック・レンダリング損失を最小化することで、シーン形状とカメラパラメータの最適化を交互に行う。
しかし、内視鏡環境は、同じ位置にある光とカメラが表面に非常に近づき、テクスチャのない表面、粘液層による強い反射によって、ダイナミックな近接場照明を示す。
このような近接場照明効果は、内視鏡映像に適用した場合、屋内・屋外のシーンから既存のSLAMアルゴリズムに顕著な性能低下をもたらす可能性がある。
この問題を軽減するため,撮影画像の強度変化が表面と同一位置の光とカメラとの相対距離と向きに一致するように,光束調整損失とともに交互に最適化できる新しい近接場光束調整損失$(L_{NFL-BA})を新たに導入した。
3次元ガウス面表現に対する一般的なNFL-BA損失関数を導出し,2つの最先端3DGS-SLAMシステム,MonoGS (35%改善,予測深度マップによるマッピングによる48%改善),EndoGSLAM(22%改善,予測深度によるマッピングによる限界改善)の追跡とマッピング性能を大幅に向上させることができることを示した。
プロジェクトページはhttps://asdunnbe.github.io/NFL-BA/で公開されている。
関連論文リスト
- Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping [12.027762278121052]
Endo-2DTAMは2次元ガウススプラッティング(2DGS)を用いたリアルタイム内視鏡SLAMシステムである
私たちのロバストなトラッキングモジュールは、ポイントツーポイントとポイントツープレーン距離のメトリクスを組み合わせています。
マッピングモジュールは, 通常の整合性および深さ歪みを利用して表面再構成品質を向上する。
論文 参考訳（メタデータ） (2025-01-31T17:15:34Z) - FlashSLAM: Accelerated RGB-D SLAM for Real-Time 3D Scene Reconstruction with Gaussian Splatting [14.130327598928778]
FlashSLAMは、3Dガウススプラッティングを有効かつ堅牢な3Dシーン再構築に活用する新しいSLAMアプローチである。
既存の3DGSベースのSLAMメソッドは、スパースビューの設定や大きなカメラの動きの間、しばしば不足する。
提案手法は,従来手法よりも平均追跡精度を最大92%向上させる。
論文 参考訳（メタデータ） (2024-12-01T05:44:38Z) - GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。
本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。
両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
論文 参考訳（メタデータ） (2024-11-12T01:51:05Z) - $ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction [31.64067619807023]
$nu$-DBAは、地図パラメトリゼーションのための3次元暗黙曲面を用いた幾何学的密集束調整(DBA)を実装している。
我々は、高密度マッピングの品質をさらに向上するために、シーンごとの自己スーパービジョンで光学フローモデルを微調整する。
論文 参考訳（メタデータ） (2024-04-29T05:29:26Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - SpecNeRF: Gaussian Directional Encoding for Specular Reflections [43.110815974867315]
近接場照明条件下でのビュー依存効果をより良くモデル化するための学習可能なガウス方向符号化法を提案する。
我々の新しい指向性符号化は、近接場照明の空間的に変化する性質を捉え、事前フィルタされた環境マップの挙動をエミュレートする。
これにより、粗さ係数の異なる任意の3次元位置において、事前変換された明色を効率よく評価することができる。
論文 参考訳（メタデータ） (2023-12-20T15:20:25Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。
最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。
我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
論文 参考訳（メタデータ） (2023-12-08T16:05:15Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。