論文の概要: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment

• arxiv url: http://arxiv.org/abs/2412.13176v1
• Date: Tue, 17 Dec 2024 18:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 17:09:38.83277
• Title: NFL-BA: Improving Endoscopic SLAM with Near-Field Light Bundle Adjustment
• Title（参考訳）: NFL-BA: 近距離光束調整による内視鏡的SLAMの改善
• Authors: Andrea Dunn Beltran, Daniel Rho, Marc Niethammer, Roni Sengupta,
• Abstract要約: モノクロ内視鏡ビデオからの同時局所化とマッピングは、自律的なナビゲーション、監視されていない地域へのガイダンス、そして3D視覚化を可能にする。 既存の高密度SLAMアルゴリズムは、遠方および静的な照明とテクスチャ面を仮定することが多い。 我々は、新しいNear-Field Lighting Bundle Adjustment Loss $(L_NFL-BA)$を導入する。
• 参考スコア（独自算出の注目度）: 15.088726951324299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simultaneous Localization And Mapping (SLAM) from a monocular endoscopy video can enable autonomous navigation, guidance to unsurveyed regions, and 3D visualizations, which can significantly improve endoscopy experience for surgeons and patient outcomes. Existing dense SLAM algorithms often assume distant and static lighting and textured surfaces, and alternate between optimizing scene geometry and camera parameters by minimizing a photometric rendering loss, often called Photometric Bundle Adjustment. However, endoscopic environments exhibit dynamic near-field lighting due to the co-located light and camera moving extremely close to the surface, textureless surfaces, and strong specular reflections due to mucus layers. When not considered, these near-field lighting effects can cause significant performance reductions for existing SLAM algorithms from indoor/outdoor scenes when applied to endoscopy videos. To mitigate this problem, we introduce a new Near-Field Lighting Bundle Adjustment Loss $(L_{NFL-BA})$ that can also be alternatingly optimized, along with the Photometric Bundle Adjustment loss, such that the captured images' intensity variations match the relative distance and orientation between the surface and the co-located light and camera. We derive a general NFL-BA loss function for 3D Gaussian surface representations and demonstrate that adding $L_{NFL-BA}$ can significantly improve the tracking and mapping performance of two state-of-the-art 3DGS-SLAM systems, MonoGS (35% improvement in tracking, 48% improvement in mapping with predicted depth maps) and EndoGSLAM (22% improvement in tracking, marginal improvement in mapping with predicted depths), on the C3VD endoscopy dataset for colons. The project page is available at https://asdunnbe.github.io/NFL-BA/
• Abstract（参考訳）: 単眼内視鏡ビデオからの同時局在とマッピング(SLAM)は、自律的なナビゲーション、監視されていない領域へのガイダンス、および3D可視化を可能にし、外科医の内視鏡経験と患者の結果を大幅に改善することができる。 既存の高密度SLAMアルゴリズムは、遠方および静的な照明とテクスチャ面を仮定し、フォトメトリック・バンドル・アジャイメント(Photometric Bundle Adjustment)と呼ばれるフォトメトリック・レンダリング損失を最小化することで、シーン形状とカメラパラメータの最適化を交互に行う。 しかし、内視鏡環境は、同じ位置にある光とカメラが表面に非常に近づき、テクスチャのない表面、粘液層による強い反射によって、ダイナミックな近接場照明を示す。 このような近接場照明効果は、内視鏡映像に適用した場合、屋内・屋外のシーンから既存のSLAMアルゴリズムに顕著な性能低下をもたらす可能性がある。 この問題を軽減するため,撮影画像の強度変化が表面と同一位置の光とカメラとの相対距離と向きに一致するように,光束調整損失とともに交互に最適化できる新しい近接場光束調整損失$(L_{NFL-BA})を新たに導入した。 3次元ガウス面表現に対する一般的なNFL-BA損失関数を導出し,2つの最先端3DGS-SLAMシステム,MonoGS (35%改善,予測深度マップによるマッピングによる48%改善),EndoGSLAM(22%改善,予測深度によるマッピングによる限界改善)の追跡とマッピング性能を大幅に向上させることができることを示した。 プロジェクトページはhttps://asdunnbe.github.io/NFL-BA/で公開されている。

関連論文リスト

• D3DR: Lighting-Aware Object Insertion in Gaussian Splatting [48.80431740983095]
  D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入する手法を提案する。 我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。 提案手法を既存手法と比較することにより,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-09T19:48:00Z)
• FlashSLAM: Accelerated RGB-D SLAM for Real-Time 3D Scene Reconstruction with Gaussian Splatting [14.130327598928778]
  FlashSLAMは、3Dガウススプラッティングを有効かつ堅牢な3Dシーン再構築に活用する新しいSLAMアプローチである。 既存の3DGSベースのSLAMメソッドは、スパースビューの設定や大きなカメラの動きの間、しばしば不足する。 提案手法は,従来手法よりも平均追跡精度を最大92%向上させる。
  論文  参考訳（メタデータ） (2024-12-01T05:44:38Z)
• PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy [1.28795255913358]
  本稿では,内視鏡の複雑な取得条件に合わせて,物理ベースで再現可能なモデル内で3D Splattingを利用するフレームワークであるPR-ENDOを提案する。 提案手法は,ベースライン手法に比べて画質が優れていた。
  論文  参考訳（メタデータ） (2024-11-19T13:52:30Z)
• MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation [15.752529196306648]
  本研究では、重度動きブルレッド入力を処理するための高密度視覚SLAMパイプライン(MBA-SLAM)を提案する。 提案手法では,効率的な運動ぼかし対応トラッカーをニューラルネットワークとガウススプラッティングベースのマッパーに統合する。 MBA-SLAMは、カメラのローカライゼーションとマップ再構成の両方において、従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-13T01:38:06Z)
• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• $ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction [31.64067619807023]
  $nu$-DBAは、地図パラメトリゼーションのための3次元暗黙曲面を用いた幾何学的密集束調整(DBA)を実装している。 我々は、高密度マッピングの品質をさらに向上するために、シーンごとの自己スーパービジョンで光学フローモデルを微調整する。
  論文  参考訳（メタデータ） (2024-04-29T05:29:26Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• SpecNeRF: Gaussian Directional Encoding for Specular Reflections [43.110815974867315]
  近接場照明条件下でのビュー依存効果をより良くモデル化するための学習可能なガウス方向符号化法を提案する。 我々の新しい指向性符号化は、近接場照明の空間的に変化する性質を捉え、事前フィルタされた環境マップの挙動をエミュレートする。 これにより、粗さ係数の異なる任意の3次元位置において、事前変換された明色を効率よく評価することができる。
  論文  参考訳（メタデータ） (2023-12-20T15:20:25Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [48.190398577764284]
  SplaTAMは、単一のRGB-Dカメラからの高忠実度再構成を可能にするアプローチである。 基礎となるガウス表現に合わせて、単純なオンライントラッキングとマッピングシステムを採用している。 実験により,SplaTAMはカメラポーズ推定,マップ構築,既存手法に対する新規ビュー合成において最大2倍の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-12-04T18:53:24Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
  本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。 深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。 我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
  論文  参考訳（メタデータ） (2023-05-07T20:36:29Z)
• Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
  本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。 ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-07-10T13:47:20Z)
• CERL: A Unified Optimization Framework for Light Enhancement with Realistic Noise [81.47026986488638]
  現実世界で撮影された低照度画像は、センサーノイズによって必然的に破損する。 既存の光強調法は、拡張中の現実世界のノイズの重要な影響を見落としているか、ノイズ除去を別の前処理または後処理のステップとして扱うかのどちらかである。 実世界の低照度雑音画像(CERL)のコーディネート・エンハンスメントを行い,光強調部と雑音抑制部を一体化・物理接地したフレームワークにシームレスに統合する。
  論文  参考訳（メタデータ） (2021-08-01T15:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。