論文の概要: Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs Towards
Robot-assisted Intubation
- arxiv url: http://arxiv.org/abs/2305.11686v2
- Date: Tue, 27 Jun 2023 07:50:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 16:59:47.058934
- Title: Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs Towards
Robot-assisted Intubation
- Title（参考訳）: ロボット・インキュベーションに向けた口腔器官のドメイン適応型Sim-to-Realセグメンテーション
- Authors: Guankun Wang, Tian-Ao Ren, Jiewen Lai, Long Bai, Hongliang Ren
- Abstract要約: この作業では、Open Framework Architectureフレームワークによって生成された仮想データセットを導入し、実際の内視鏡画像の可用性の制限を克服する。
また,画像ブレンディング戦略を用いた咽頭臓器画像分割のための領域適応型Sim-to-Real法を提案する。
実験結果は,ドメイン適応モデルを用いた提案手法の優れた性能を示す。
- 参考スコア（独自算出の注目度）: 15.795665057836636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic-assisted tracheal intubation requires the robot to distinguish
anatomical features like an experienced physician using deep-learning
techniques. However, real datasets of oropharyngeal organs are limited due to
patient privacy issues, making it challenging to train deep-learning models for
accurate image segmentation. We hereby consider generating a new data modality
through a virtual environment to assist the training process. Specifically,
this work introduces a virtual dataset generated by the Simulation Open
Framework Architecture (SOFA) framework to overcome the limited availability of
actual endoscopic images. We also propose a domain adaptive Sim-to-Real method
for oropharyngeal organ image segmentation, which employs an image blending
strategy called IoU-Ranking Blend (IRB) and style-transfer techniques to
address discrepancies between datasets. Experimental results demonstrate the
superior performance of the proposed approach with domain adaptive models,
improving segmentation accuracy and training stability. In the practical
application, the trained segmentation model holds great promise for
robot-assisted intubation surgery and intelligent surgical navigation.
- Abstract（参考訳）: ロボットによる気管挿管では、経験豊富な医師のような解剖学的特徴をディープラーニング技術で区別する必要がある。
しかし,臓器の実際のデータセットはプライバシの問題により制限されており,正確な画像分割のためのディープラーニングモデルのトレーニングが困難である。
ここでは,仮想環境を通じて新たなデータモダリティを生成し,トレーニングプロセスを支援することを検討する。
具体的には、シミュレーションオープンフレームワークアーキテクチャ(SOFA)フレームワークによって生成された仮想データセットを導入し、実際の内視鏡画像の限られた可用性を克服する。
また,IoU-Ranking Blend (IRB) と呼ばれる画像ブレンディング戦略と,データセット間の不一致に対処するスタイル転送技術を用いて,咽頭臓器画像分割のためのドメイン適応型Sim-to-Real手法を提案する。
実験により,提案手法のドメイン適応モデルによる性能向上,セグメンテーション精度の向上,トレーニング安定性の向上が示された。
実用的応用において,訓練されたセグメンテーションモデルは,ロボット支援インキュベーション手術とインテリジェントな手術ナビゲーションに非常に有望である。
関連論文リスト
- Generalizing Segmentation Foundation Model Under Sim-to-real Domain-shift for Guidewire Segmentation in X-ray Fluoroscopy [1.4353812560047192]
Sim-to-real ドメイン適応アプローチは、コスト効率の良いソリューションを提供するシミュレーションから合成データを利用する。
対象領域のアノテーションを使わずに、SAMを蛍光X線ガイドワイヤセグメント化に適応させる戦略を提案する。
提案手法は、事前訓練されたSAMと、最先端のドメイン適応技術の両方を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2024-10-09T21:59:48Z) - Embedded Image-to-Image Translation for Efficient Sim-to-Real Transfer in Learning-based Robot-Assisted Soft Manipulation [6.260818799382364]
本研究では、画像翻訳モデルを用いて、ドメインミスマッチを緩和し、シミュレーション環境での効率的なロボットスキル学習を容易にする手法を提案する。
本手法では, コントラストのない画像から画像への変換を行うことで, 変換された画像から組込み表現を取得できる。
論文 参考訳（メタデータ） (2024-09-16T11:55:06Z) - Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳（メタデータ） (2024-03-23T22:32:06Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs [14.723143613743211]
経口的気管挿管(TI)は内視鏡を用いて必要であり、鼻腔の代わりに気管を喉頭に挿入するのに役立つ。
咽頭臓器の実在は、限られたオープンソースデータと患者のプライバシーのためにアクセスできないことが多い。
IoU-Ranking Blend-ArtFlow (IRB-AF) と呼ばれるドメイン適応型Sim-to-Realフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-18T11:25:23Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳（メタデータ） (2023-03-17T18:00:27Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In
Silico Experiments [12.019996672009375]
人間のモデルからリアルなシミュレートされた画像を作成することは、大規模なIn situデータ収集の代替となることを示す。
人体モデルからの学習データの合成は、容易にスケールできるので、我々がSyntheXと呼ぶX線画像解析のためのモデル転送パラダイムが、実際のデータ学習モデルよりも優れていることが分かりました。
論文 参考訳（メタデータ） (2022-06-13T13:08:41Z) - One to Many: Adaptive Instrument Segmentation via Meta Learning and
Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。
ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。
2つのデータセットで他の最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-03-24T05:02:18Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳（メタデータ） (2021-03-06T09:10:03Z) - Synthetic and Real Inputs for Tool Segmentation in Robotic Surgery [10.562627972607892]
腹腔鏡画像と組み合わせたロボットキネマティックデータを用いてラベル付け問題を緩和できる可能性が示唆された。
腹腔鏡画像とシミュレーション画像の並列処理のための新しい深層学習モデルを提案する。
論文 参考訳（メタデータ） (2020-07-17T16:33:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。