論文の概要: Sim2Real within 5 Minutes: Efficient Domain Transfer with Stylized Gaussian Splatting for Endoscopic Images

• arxiv url: http://arxiv.org/abs/2403.10860v2
• Date: Wed, 05 Mar 2025 12:41:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:50:02.599943
• Title: Sim2Real within 5 Minutes: Efficient Domain Transfer with Stylized Gaussian Splatting for Endoscopic Images
• Title（参考訳）: 5分以内のSim2Real:スチル化ガウススプラッティングによる内視鏡像の高効率ドメイン転送
• Authors: Junyang Wu, Yun Gu, Guang-Zhong Yang,
• Abstract要約: 内膜介入は良性病変と悪性病変の両方に出現する技術である。 実際には,術前領域と術中領域の整列は,テクスチャの相違により複雑になる。 本稿では,スタイライズされたガウススプラッティングに基づく効率的なドメイン転送手法を提案する。
• 参考スコア（独自算出の注目度）: 28.802915155343964
• License:
• Abstract: Robot assisted endoluminal intervention is an emerging technique for both benign and malignant luminal lesions. With vision-based navigation, when combined with pre-operative imaging data as priors, it is possible to recover position and pose of the endoscope without the need of additional sensors. In practice, however, aligning pre-operative and intra-operative domains is complicated by significant texture differences. Although methods such as style transfer can be used to address this issue, they require large datasets from both source and target domains with prolonged training times. This paper proposes an efficient domain transfer method based on stylized Gaussian splatting, only requiring a few of real images (10 images) with very fast training time. Specifically, the transfer process includes two phases. In the first phase, the 3D models reconstructed from CT scans are represented as differential Gaussian point clouds. In the second phase, only color appearance related parameters are optimized to transfer the style and preserve the visual content. A novel structure consistency loss is applied to latent features and depth levels to enhance the stability of the transferred images. Detailed validation was performed to demonstrate the performance advantages of the proposed method compared to that of the current state-of-the-art, highlighting the potential for intra-operative surgical navigation.
• Abstract（参考訳）: ロボットによる内膜介入は良性病変と悪性病変の両方に新しい技術である。 視覚に基づくナビゲーションでは、術前の撮像データと組み合わせることで、追加のセンサーを必要とせずに内視鏡の位置とポーズを回復することができる。 しかし実際には, テクスチャの相違により, 術前領域と術中領域の整列が複雑になる。 スタイル転送のような手法はこの問題に対処できるが、長いトレーニング時間を持つソースドメインとターゲットドメインの両方からの大きなデータセットを必要とする。 本稿では,非常に高速な訓練時間で,少数の実画像(10画像)しか必要とせず,タイポライズされたガウススプラッティングに基づく効率的なドメイン転送手法を提案する。 具体的には、転送プロセスは2つのフェーズを含む。 第1段階では、CTスキャンから再構成された3次元モデルは微分ガウス点雲として表現される。 第2段階では、色覚関連パラメータのみを最適化して、スタイルの転送と視覚的内容の保存を行う。 転写画像の安定性を高めるために、遅延特徴と深さレベルに新しい構造整合性損失を適用した。 より詳細な検証を行い, 術中ナビゲーションの可能性を明らかにするとともに, 術中ナビゲーション法と比較して, 提案法の性能上の優位性を実証した。

関連論文リスト

• Data-Centric Learning Framework for Real-Time Detection of Aiming Beam in Fluorescence Lifetime Imaging Guided Surgery [3.8261910636994925]
  本研究では,FLImを用いたリアルタイム手術指導のための新しいデータ中心アプローチを提案する。 第一の課題は,特に経口ロボット手術(TORS)における手術環境における複雑で変動的な状態から生じる。 ラベルノイズの最小化と検出ロバスト性の向上により精度を向上させるデータ中心のトレーニング戦略を用いて,インスタンスセグメンテーションモデルを開発した。
  論文  参考訳（メタデータ） (2024-11-11T22:04:32Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• Transferring Relative Monocular Depth to Surgical Vision with Temporal Consistency [3.585363618435449]
  相対的な単分子深度は、1つの画像からシフトとスケールの深さを推定するものであり、活発な研究トピックである。 大規模で多様なメタデータセットに基づいて訓練された最近のディープラーニングモデルは、自然画像の領域で優れたパフォーマンスを提供する。 内視鏡画像に真実の深さを与えるデータセットはほとんど存在せず、そのようなモデルをスクラッチからトレーニングすることは不可能である。
  論文  参考訳（メタデータ） (2024-03-11T12:57:51Z)
• Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
  変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。 我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。 この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
  論文  参考訳（メタデータ） (2023-12-23T13:27:50Z)
• Self-Supervised-RCNN for Medical Image Segmentation with Limited Data Annotation [0.16490701092527607]
  ラベルなしMRIスキャンによる自己教師付き事前学習に基づく新たなディープラーニング学習戦略を提案する。 我々の事前学習アプローチはまず、ラベルのない画像のランダム領域に異なる歪みをランダムに適用し、次に歪みの種類と情報の損失を予測する。 異なる事前学習シナリオと微調整シナリオにおけるセグメンテーション課題に対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-07-17T13:28:52Z)
• DLTTA: Dynamic Learning Rate for Test-time Adaptation on Cross-domain Medical Images [56.72015587067494]
  DLTTAと呼ばれるテスト時間適応のための新しい動的学習率調整法を提案する。 本手法は,現在最先端のテスト時間適応法よりも一貫した性能向上を図り,有効かつ高速なテスト時間適応を実現する。
  論文  参考訳（メタデータ） (2022-05-27T02:34:32Z)
• A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence [13.25903945009516]
  本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。 これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-03-31T13:14:00Z)
• Real-time landmark detection for precise endoscopic submucosal dissection via shape-aware relation network [51.44506007844284]
  内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。 まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。 次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
  論文  参考訳（メタデータ） (2021-11-08T07:57:30Z)
• Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
  そこで本研究では,深度推定のためのドメイン適応手法を提案する。 提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。 実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-24T08:11:34Z)
• Self-Supervised Learning from Unlabeled Fundus Photographs Improves Segmentation of the Retina [4.815051667870375]
  基礎撮影は網膜イメージングの第一の方法であり、糖尿病網膜症予防に必須である。 現在のセグメンテーション法は、実際の臨床応用に典型的な画像条件や病理の多様性に対して堅牢ではない。 コントラスト型自己教師型学習を用いて,EyePACSデータセットの多種多様な未ラベル画像を利用する。
  論文  参考訳（メタデータ） (2021-08-05T18:02:56Z)
• Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery [58.63306322525082]
  ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。 我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-07-08T21:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。