論文の概要: Surg-InvNeRF: Invertible NeRF for 3D tracking and reconstruction in surgical vision
- arxiv url: http://arxiv.org/abs/2508.09681v1
- Date: Wed, 13 Aug 2025 10:20:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.853853
- Title: Surg-InvNeRF: Invertible NeRF for 3D tracking and reconstruction in surgical vision
- Title（参考訳）: Surg-InvNeRF : 手術視における3次元追跡と再建のための可逆性NeRF
- Authors: Gerardo Loza, Junlei Hu, Dominic Jones, Sharib Ali, Pietro Valdastri,
- Abstract要約: InvNeRFアーキテクチャは手術シナリオにおける2Dと3Dの両方の追跡に使用される。
2Dポイントトラッキングでは,TTO手法の精度と精度を平均精度で50%近く上回っている。
3Dポイントトラッキングでは、これは最初のTTOアプローチであり、フィードフォワード法を超越し、変形可能なNeRFベースの再構成の利点を取り入れている。
- 参考スコア（独自算出の注目度）: 3.7908123458994107
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We proposed a novel test-time optimisation (TTO) approach framed by a NeRF-based architecture for long-term 3D point tracking. Most current methods in point tracking struggle to obtain consistent motion or are limited to 2D motion. TTO approaches frame the solution for long-term tracking as optimising a function that aggregates correspondences from other specialised state-of-the-art methods. Unlike the state-of-the-art on TTO, we propose parametrising such a function with our new invertible Neural Radiance Field (InvNeRF) architecture to perform both 2D and 3D tracking in surgical scenarios. Our approach allows us to exploit the advantages of a rendering-based approach by supervising the reprojection of pixel correspondences. It adapts strategies from recent rendering-based methods to obtain a bidirectional deformable-canonical mapping, to efficiently handle a defined workspace, and to guide the rays' density. It also presents our multi-scale HexPlanes for fast inference and a new algorithm for efficient pixel sampling and convergence criteria. We present results in the STIR and SCARE datasets, for evaluating point tracking and testing the integration of kinematic data in our pipeline, respectively. In 2D point tracking, our approach surpasses the precision and accuracy of the TTO state-of-the-art methods by nearly 50% on average precision, while competing with other approaches. In 3D point tracking, this is the first TTO approach, surpassing feed-forward methods while incorporating the benefits of a deformable NeRF-based reconstruction.
- Abstract（参考訳）: 我々は,長期3次元点追跡のためのNeRFアーキテクチャによる新しいテスト時間最適化(TTO)手法を提案する。
点追跡における現在のほとんどの方法は、一貫した動きを得るか、2次元の動きに制限される。
TTOアプローチは、長期追跡のためのソリューションを、他の専門化された最先端メソッドからの対応を集約する関数の最適化として実現している。
TTOの最先端技術とは異なり、手術シナリオにおける2次元および3次元追跡を行うために、新しい可逆性ニューラルネットワーク場(InvNeRF)アーキテクチャを用いて、そのような機能をパラメトリする手法を提案する。
我々のアプローチは、ピクセル対応の再投影を監督することで、レンダリングベースのアプローチの利点を活用できる。
これは、最近のレンダリングベースの手法からの戦略を適用して、双方向の変形可能カノニカルマッピングを取得し、定義されたワークスペースを効率的に処理し、光線密度を導出する。
また,高速推論のためのマルチスケールHexPlaneと,効率的な画素サンプリングと収束基準のための新しいアルゴリズムを提案する。
本稿では,STIRデータセットとSCAREデータセットを用いて,各パイプラインにおける運動データの統合点追跡とテストを行う。
2Dポイントトラッキングでは,TTO手法の精度と精度を平均精度で50%近く上回り,他の手法と競合する。
3Dポイントトラッキングでは、これは最初のTTOアプローチであり、フィードフォワード法を超越し、変形可能なNeRFベースの再構成の利点を取り入れている。
関連論文リスト
- DELTAv2: Accelerating Dense 3D Tracking [79.63990337419514]
本稿では,ビデオ中の高密度3次元点追跡を高速化するための新しいアルゴリズムを提案する。
極小点の小さな部分集合で追跡を開始し、トラックされた軌道の集合を段階的に拡大する粗大な戦略を導入する。
新たに追加されたトラジェクトリは学習可能なモジュールを使用しており、トラッキングネットワークとともにエンドツーエンドでトレーニングされている。
論文 参考訳（メタデータ） (2025-08-02T03:15:47Z) - DELTA: Dense Efficient Long-range 3D Tracking for any video [82.26753323263009]
DELTAは3次元空間内のすべてのピクセルを効率よく追跡し,ビデオ全体の正確な動き推定を可能にする手法である。
提案手法では,低分解能追跡のためのグローバルアテンション機構と,高分解能予測を実現するためのトランスフォーマーベースアップサンプラーを併用する。
提案手法は,3次元空間における細粒度・長期動作追跡を必要とするアプリケーションに対して,ロバストなソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-31T17:59:01Z) - OriCon3D: Effective 3D Object Detection using Orientation and Confidence [0.0]
1つの画像から3次元物体を検出するための高度な手法を提案する。
我々は、深層畳み込みニューラルネットワークに基づく3Dオブジェクト重み付け指向回帰パラダイムを用いる。
提案手法は, 3次元オブジェクトのポーズ決定の精度を大幅に向上し, ベースライン法を超越した。
論文 参考訳（メタデータ） (2023-04-27T19:52:47Z) - TriPlaneNet: An Encoder for EG3D Inversion [1.9567015559455132]
NeRFをベースとしたGANは、人間の頭部の高分解能かつ高忠実な生成モデリングのための多くのアプローチを導入している。
2D GANインバージョンのための普遍的最適化に基づく手法の成功にもかかわらず、3D GANに適用された手法は、結果を新しい視点に外挿することができないかもしれない。
本稿では,EG3D生成モデルに提示された3面表現を直接利用することにより,両者のギャップを埋める高速な手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T17:56:20Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - 3D Multi-Object Tracking with Differentiable Pose Estimation [0.0]
室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。
我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。
本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
論文 参考訳（メタデータ） (2022-06-28T06:46:32Z) - Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。
われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。
LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文 参考訳（メタデータ） (2022-05-12T17:55:51Z) - SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real
World [10.029003607782878]
領域ベースの手法は、散らばったシーンにおけるテクスチャのない物体のモデルベースで単色な3D追跡において、ますます人気が高まっている。
しかし、ほとんどの手法は計算コストが高く、リアルタイムにかなりのリソースを必要とする。
SRT3Dは、この効率のギャップを埋める3Dオブジェクト追跡のためのスパース領域ベースのアプローチである。
論文 参考訳（メタデータ） (2021-10-25T07:58:18Z) - Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking [34.40019455462043]
本研究では,空間時間最適化に基づくステレオ3次元物体追跡手法を提案する。
ネットワークから隣接画像上の対応する2Dバウンディングボックスを検出し,初期3Dバウンディングボックスを回帰する。
オブジェクトセントロイドに関連づけられた複雑なオブジェクトキューは、リージョンベースのネットワークを使用して予測される。
論文 参考訳（メタデータ） (2020-04-20T13:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。