論文の概要: HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2405.17872v2
- Date: Wed, 29 May 2024 07:17:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 11:12:33.900537
- Title: HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction
- Title（参考訳）: HFGS : 内視鏡的シーン再構成のための空間的および時間的高周波成分に着目した4次元ガウス切削術
- Authors: Haoyu Zhao, Xingyue Zhao, Lingting Zhu, Weixi Zheng, Yongchao Xu,
- Abstract要約: ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。
NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。
3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。
空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再建のための新しいアプローチであるHFGSを提案する。
- 参考スコア（独自算出の注目度）: 13.012536387221669
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot-assisted minimally invasive surgery benefits from enhancing dynamic scene reconstruction, as it improves surgical outcomes. While Neural Radiance Fields (NeRF) have been effective in scene reconstruction, their slow inference speeds and lengthy training durations limit their applicability. To overcome these limitations, 3D Gaussian Splatting (3D-GS) based methods have emerged as a recent trend, offering rapid inference capabilities and superior 3D quality. However, these methods still struggle with under-reconstruction in both static and dynamic scenes. In this paper, we propose HFGS, a novel approach for deformable endoscopic reconstruction that addresses these challenges from spatial and temporal frequency perspectives. Our approach incorporates deformation fields to better handle dynamic scenes and introduces Spatial High-Frequency Emphasis Reconstruction (SHF) to minimize discrepancies in spatial frequency spectra between the rendered image and its ground truth. Additionally, we introduce Temporal High-Frequency Emphasis Reconstruction (THF) to enhance dynamic awareness in neural rendering by leveraging flow priors, focusing optimization on motion-intensive parts. Extensive experiments on two widely used benchmarks demonstrate that HFGS achieves superior rendering quality. Our code will be available.
- Abstract（参考訳）: ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。
ニューラル・ラジアンス・フィールド(NeRF)はシーン再構成に有効であるが、推論速度は遅く、トレーニング期間も長いため適用性が制限されている。
これらの制限を克服するため、3Dガウススプラッティング(3D-GS)ベースの手法が最近のトレンドとして登場し、高速な推論機能と優れた3D品質を提供する。
しかし、これらの手法は静的シーンと動的シーンの両方において過度な再構成に苦慮している。
本稿では,空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再構成のための新しいアプローチであるHFGSを提案する。
提案手法では,動的シーンの処理に変形場を導入し,空間周波数強調再構成(Spatial High-Frequency Emphasis Reconstruction, SHF)を導入し, レンダリング画像と地上真実との空間周波数スペクトルの差を最小化する。
さらに,時間的高周波強調再建(THF)を導入し,流れの先行を生かし,動き集約的な部分の最適化に焦点をあてることで,ニューラルレンダリングのダイナミックな認識を高める。
広く使われている2つのベンチマークの大規模な実験は、HFGSが優れたレンダリング品質を達成することを示した。
私たちのコードは利用可能です。
関連論文リスト
- Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。
本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-25T08:23:38Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T11:59:54Z) - Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。
連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。
本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
論文 参考訳（メタデータ） (2024-11-10T21:30:16Z) - Magnituder Layers for Implicit Neural Representations in 3D [23.135779936528333]
我々は、"magnituder"と呼ばれる新しいニューラルネットワーク層を導入する。
標準フィードフォワード層にマグニチュードを組み込むことで、推論速度と適応性を向上する。
我々のアプローチは、訓練された暗黙的ニューラル表現モデルにおいてゼロショットのパフォーマンス向上を可能にする。
論文 参考訳（メタデータ） (2024-10-13T08:06:41Z) - A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。
一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。
この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
論文 参考訳（メタデータ） (2024-08-08T12:51:23Z) - Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。
リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。
また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
論文 参考訳（メタデータ） (2024-05-28T05:14:57Z) - NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation [76.02304140027087]
我々は,HuGS(Huristics-Guided harmonily)という新しいパラダイムを提案する。
HuGSは、手作り合成の強さと最先端セグメンテーションモデルを組み合わせることで、過渡的イントラクタからの静的シーンの分離を大幅に強化する。
非定常場面で訓練されたNeRFの過渡的乱れを緩和する手法の優位性とロバスト性を示す実験を行った。
論文 参考訳（メタデータ） (2024-03-26T09:42:28Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - Focal Frequency Loss for Image Reconstruction and Synthesis [125.7135706352493]
周波数領域の狭さが画像再構成と合成品質をさらに改善できることを示す。
本稿では,合成が難しい周波数成分に適応的に焦点を合わせることのできる,新しい焦点周波数損失を提案する。
論文 参考訳（メタデータ） (2020-12-23T17:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。