論文の概要: LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2406.16073v1
- Date: Sun, 23 Jun 2024 10:49:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 19:04:12.854101
- Title: LGS: A Light-weight 4D Gaussian Splatting for Efficient Surgical Scene Reconstruction
- Title（参考訳）: LGS : 効率的な手術シーン再構築のための軽量4Dガウス切削法
- Authors: Hengyu Liu, Yifan Liu, Chenxin Li, Wuyang Li, Yixuan Yuan,
- Abstract要約: 動的内視鏡再建のための軽量4Dガウス切削フレームワーク(LGS)を提案する。
ガウス量の冗長性を最小限に抑えるため,変形対応プルーニングを提案する。
我々はまた、ガウス属性の次元を刻むことにより、非極端領域におけるテクスチャや照明の表現を単純化する。
- 参考スコア（独自算出の注目度）: 33.794584735264884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The advent of 3D Gaussian Splatting (3D-GS) techniques and their dynamic scene modeling variants, 4D-GS, offers promising prospects for real-time rendering of dynamic surgical scenarios. However, the prerequisite for modeling dynamic scenes by a large number of Gaussian units, the high-dimensional Gaussian attributes and the high-resolution deformation fields, all lead to serve storage issues that hinder real-time rendering in resource-limited surgical equipment. To surmount these limitations, we introduce a Lightweight 4D Gaussian Splatting framework (LGS) that can liberate the efficiency bottlenecks of both rendering and storage for dynamic endoscopic reconstruction. Specifically, to minimize the redundancy of Gaussian quantities, we propose Deformation-Aware Pruning by gauging the impact of each Gaussian on deformation. Concurrently, to reduce the redundancy of Gaussian attributes, we simplify the representation of textures and lighting in non-crucial areas by pruning the dimensions of Gaussian attributes. We further resolve the feature field redundancy caused by the high resolution of 4D neural spatiotemporal encoder for modeling dynamic scenes via a 4D feature field condensation. Experiments on public benchmarks demonstrate efficacy of LGS in terms of a compression rate exceeding 9 times while maintaining the pleasing visual quality and real-time rendering efficiency. LGS confirms a substantial step towards its application in robotic surgical services.
- Abstract（参考訳）: 3D Gaussian Splatting (3D-GS)テクニックの出現とその動的シーンモデリングのバリエーションである4D-GSは、動的手術シナリオのリアルタイムレンダリングに期待できる可能性を示唆している。
しかし,多数のガウス単位,高次元ガウス特性,高分解能変形場などによる動的シーンのモデル化の前提条件は,資源限定の手術機器におけるリアルタイムレンダリングの妨げとなる記憶上の問題である。
これらの制限を克服するために、動的内視鏡再構成のためのレンダリングとストレージの効率ボトルネックを解放する軽量4Dガウススティングフレームワーク(LGS)を導入する。
具体的には,ガウス量の冗長性を最小化するために,各ガウスの変形に対する影響を加味して変形認識プルーニングを提案する。
同時に、ガウス属性の冗長性を低減するために、ガウス属性の次元を刻むことにより、非極端領域におけるテクスチャや照明の表現を単純化する。
さらに,4次元特徴場縮合により動的シーンをモデル化するための4次元ニューラル時空間エンコーダの高分解能化による特徴場の冗長性も解決する。
公開ベンチマークの実験では、圧縮速度が9倍を超えながら、視覚的品質とリアルタイムレンダリング効率を維持しながら、LGSの有効性を実証している。
LGSは、ロボット外科サービスへの応用に向けて、大きな一歩を踏み出した。
関連論文リスト
- Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting [13.653629893660218]
ニューラルレイディアンス場(NeRF)のレンダリング手法の代替として,F3DGS(Facterized 3D Gaussian Splatting)を提案する。
F-3DGSはレンダリング画像に匹敵する品質を維持しながら、ストレージコストを大幅に削減する。
論文 参考訳（メタデータ） (2024-05-27T11:55:49Z) - EfficientGS: Streamlining Gaussian Splatting for Large-Scale High-Resolution Scene Representation [29.334665494061113]
能率GS」は3DGSを高解像度で大規模なシーンに最適化する高度なアプローチである。
3DGSの密度化過程を解析し,ガウスの過剰増殖領域を同定した。
本稿では,ガウス的増加を重要な冗長プリミティブに制限し,表現効率を向上する選択的戦略を提案する。
論文 参考訳（メタデータ） (2024-04-19T10:32:30Z) - End-to-End Rate-Distortion Optimized 3D Gaussian Representation [33.20840558425759]
本稿では,コンパクトな3次元ガウス学習をエンドツーエンドのレート・ディストーション最適化問題として定式化する。
動的プルーニングとエントロピー制約ベクトル量子化(ECVQ)を導入し、同時に速度と歪みを最適化する。
RDO-Gaussianが40倍の3Dガウスサイズを大幅に縮小することを示すため,実シーンと合成シーンの両方で本手法の有効性を確認した。
論文 参考訳（メタデータ） (2024-04-09T14:37:54Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - HiFi4G: High-Fidelity Human Performance Rendering via Compact Gaussian
Splatting [48.59338619051709]
HiFi4Gは、高密度映像からの高忠実度人間パフォーマンスレンダリングのための、明示的でコンパクトなガウスベースのアプローチである。
圧縮速度は25回程度で、1フレームあたり2MB未満である。
論文 参考訳（メタデータ） (2023-12-06T12:36:53Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。