論文の概要: Transforming Surgical Interventions with Embodied Intelligence for Ultrasound Robotics
- arxiv url: http://arxiv.org/abs/2406.12651v1
- Date: Tue, 18 Jun 2024 14:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 18:38:36.963324
- Title: Transforming Surgical Interventions with Embodied Intelligence for Ultrasound Robotics
- Title（参考訳）: 超音波ロボティクスのための身体知による外科的介入
- Authors: Huan Xu, Jinlin Wu, Guanglin Cao, Zhen Chen, Zhen Lei, Hongbin Liu,
- Abstract要約: 本稿では,超音波ロボットと大規模言語モデル(LLM)とドメイン固有知識強化を組み合わせた,新しい超音波身体情報システムを提案する。
まず、LLMを超音波ロボットと統合して、医師の言葉による指示を正確に動作計画に解釈する。
以上の結果から,提案システムは超音波スキャンの効率と品質を向上し,自律型医療スキャン技術のさらなる進歩の道を開くことが示唆された。
- 参考スコア（独自算出の注目度）: 24.014073238400137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ultrasonography has revolutionized non-invasive diagnostic methodologies, significantly enhancing patient outcomes across various medical domains. Despite its advancements, integrating ultrasound technology with robotic systems for automated scans presents challenges, including limited command understanding and dynamic execution capabilities. To address these challenges, this paper introduces a novel Ultrasound Embodied Intelligence system that synergistically combines ultrasound robots with large language models (LLMs) and domain-specific knowledge augmentation, enhancing ultrasound robots' intelligence and operational efficiency. Our approach employs a dual strategy: firstly, integrating LLMs with ultrasound robots to interpret doctors' verbal instructions into precise motion planning through a comprehensive understanding of ultrasound domain knowledge, including APIs and operational manuals; secondly, incorporating a dynamic execution mechanism, allowing for real-time adjustments to scanning plans based on patient movements or procedural errors. We demonstrate the effectiveness of our system through extensive experiments, including ablation studies and comparisons across various models, showcasing significant improvements in executing medical procedures from verbal commands. Our findings suggest that the proposed system improves the efficiency and quality of ultrasound scans and paves the way for further advancements in autonomous medical scanning technologies, with the potential to transform non-invasive diagnostics and streamline medical workflows.
- Abstract（参考訳）: 超音波検査は非侵襲的診断法に革命をもたらし、様々な医療領域で患者の予後を著しく向上させた。
その進歩にもかかわらず、自動スキャンのためのロボットシステムと超音波技術を統合することで、コマンド理解や動的実行能力の制限を含む課題が浮かび上がっている。
これらの課題に対処するために,超音波ロボットと大規模言語モデル(LLM)とドメイン固有知識拡張を相乗的に組み合わせ,超音波ロボットの知能と操作効率を向上する,新しい超音波エンボディードインテリジェンスシステムを提案する。
まず, LLMを超音波ロボットと組み合わせて, API や操作マニュアルを含む超音波領域の知識を包括的に理解することで, 医師の言葉による指示を正確な動作計画に解釈する。
本システムの有効性は,様々なモデルを対象としたアブレーション研究や比較を含む広範囲な実験により実証され,言語コマンドによる医療処置の大幅な改善が示された。
提案システムは, 超音波スキャンの効率と品質を向上し, 非侵襲的診断や医療ワークフローの合理化を図り, 自律型医療スキャン技術のさらなる進歩の道を開くことを示唆している。
関連論文リスト
- Patient-Specific Real-Time Segmentation in Trackerless Brain Ultrasound [35.526097492693864]
術中超音波(iUS)画像検査は、脳外科手術の手術成績を改善する可能性がある。
しかし、その解釈は、専門家の神経外科医にとっても難しい。
本研究では,トラッカーレスiUSで脳腫瘍のセグメンテーションを行う最初の患者特異的フレームワークを設計した。
論文 参考訳（メタデータ） (2024-05-16T10:07:30Z) - Enhancing Surgical Robots with Embodied Intelligence for Autonomous Ultrasound Scanning [24.014073238400137]
超音波ロボットは、医療診断や早期疾患スクリーニングにますます利用されている。
現在の超音波ロボットは人間の意図や指示を理解する知性に欠けています。
本研究では,超音波ロボットに大規模言語モデルとドメイン知識を付加した新しい超音波エンボディードインテリジェンスシステムを提案する。
論文 参考訳（メタデータ） (2024-05-01T11:39:38Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Hypergraph-Transformer (HGT) for Interactive Event Prediction in
Laparoscopic and Robotic Surgery [50.3022015601057]
腹腔内ビデオから外科的ワークフローの重要なインタラクティブな側面を理解し,予測できる予測型ニューラルネットワークを提案する。
我々は,既存の手術用データセットとアプリケーションに対するアプローチを検証し,アクション・トリプレットの検出と予測を行った。
この結果は、非構造的な代替案と比較して、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2024-02-03T00:58:05Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳（メタデータ） (2023-09-25T19:34:12Z) - Learning Autonomous Ultrasound via Latent Task Representation and
Robotic Skills Adaptation [2.3830437836694185]
本稿では,自律型超音波の潜在タスク表現とロボットスキル適応を提案する。
オフラインの段階では、マルチモーダル超音波技術が統合され、低次元確率モデルにカプセル化される。
オンライン段階では、確率モデルは最適な予測を選択して評価する。
論文 参考訳（メタデータ） (2023-07-25T08:32:36Z) - Robotic Navigation Autonomy for Subretinal Injection via Intelligent
Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。
提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。
ブタ前眼の精度と再現性について実験を行った。
論文 参考訳（メタデータ） (2023-01-17T21:41:21Z) - Learning Robotic Ultrasound Scanning Skills via Human Demonstrations and
Guided Explorations [12.894853456160924]
本研究では,人間の実演からロボット超音波スキャン技術を学ぶための学習に基づくアプローチを提案する。
まず,ロボット超音波スキャン技術を高次元マルチモーダルモデルにカプセル化し,超音波画像,プローブのポーズ・配置,接触力を考慮した。
第2に、経験者超音波医師のデモンストレーションから収集したトレーニングデータを用いて、模倣学習の力を利用してマルチモーダルモデルを訓練する。
論文 参考訳（メタデータ） (2021-11-02T14:38:09Z) - Deep Learning for Ultrasound Beamforming [120.12255978513912]
受信した超音波エコーを空間画像領域にマッピングするビームフォーミングは、超音波画像形成チェーンの心臓に位置する。
現代の超音波イメージングは、強力なデジタル受信チャネル処理の革新に大きく依存している。
ディープラーニング手法は、デジタルビームフォーミングパイプラインにおいて魅力的な役割を果たす。
論文 参考訳（メタデータ） (2021-09-23T15:15:21Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。