論文の概要: Towards user-centered interactive medical image segmentation in VR with an assistive AI agent

• arxiv url: http://arxiv.org/abs/2505.07214v3
• Date: Sun, 25 May 2025 01:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:54.755214
• Title: Towards user-centered interactive medical image segmentation in VR with an assistive AI agent
• Title（参考訳）: 補助AIエージェントを用いたVRにおけるユーザ中心型インタラクティブ医療画像セグメンテーションの実現に向けて
• Authors: Pascal Spiegler, Arash Harirpoush, Yiming Xiao,
• Abstract要約: 本稿では,3次元医療概念のローカライズ,セグメンテーション,可視化を支援する,医療用VR用対話型AIエージェントSAMIRAを提案する。 このシステムは、患者固有の解剖学的理解を高めるために、セグメント化された病理の真の3次元可視化もサポートする。 ユーザスタディでは、高いユーザビリティスコア(SUS=90.0$pm$9.0)、全体のタスク負荷の低減、提案されたVRシステムのガイダンスの強力なサポートが示された。
• 参考スコア（独自算出の注目度）: 0.5578116134031106
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Crucial in disease analysis and surgical planning, manual segmentation of volumetric medical scans (e.g. MRI, CT) is laborious, error-prone, and challenging to master, while fully automatic algorithms can benefit from user feedback. Therefore, with the complementary power of the latest radiological AI foundation models and virtual reality (VR)'s intuitive data interaction, we propose SAMIRA, a novel conversational AI agent for medical VR that assists users with localizing, segmenting, and visualizing 3D medical concepts. Through speech-based interaction, the agent helps users understand radiological features, locate clinical targets, and generate segmentation masks that can be refined with just a few point prompts. The system also supports true-to-scale 3D visualization of segmented pathology to enhance patient-specific anatomical understanding. Furthermore, to determine the optimal interaction paradigm under near-far attention-switching for refining segmentation masks in an immersive, human-in-the-loop workflow, we compare VR controller pointing, head pointing, and eye tracking as input modes. With a user study, evaluations demonstrated a high usability score (SUS=90.0 $\pm$ 9.0), low overall task load, as well as strong support for the proposed VR system's guidance, training potential, and integration of AI in radiological segmentation tasks.
• Abstract（参考訳）: 疾患解析と外科的計画において重要なことは、ボリュームカルスキャン(例えばMRI、CT)の手作業による分割は、手間がかかり、エラーが発生し、マスターが困難であり、完全な自動アルゴリズムはユーザーのフィードバックの恩恵を受けることができることである。 そこで,最新の放射線AIファンデーションモデルと仮想現実(VR)の直感的なデータインタラクションの相補力により,3D医療概念のローカライズ,セグメンテーション,可視化を支援する,医療VRのための対話型AIエージェントSAMIRAを提案する。 このエージェントは、音声に基づく対話を通じて、放射線学的特徴を理解し、臨床ターゲットを特定し、ほんの数点のプロンプトで洗練できるセグメンテーションマスクを生成する。 このシステムは、患者固有の解剖学的理解を高めるために、セグメント化された病理の真の3次元可視化もサポートする。 さらに,没入型ヒューマン・イン・ザ・ループ・ワークフローにおけるセグメンテーション・マスクの精細化のための近距離アテンションスイッチングに基づく最適インタラクション・パラダイムを決定するために,VRコントローラのポインティング,ヘッドポインティング,アイトラッキングを入力モードとして比較した。 ユーザスタディでは、高いユーザビリティスコア(SUS=90.0$\pm$9.0)、全体のタスク負荷の低減、提案されているVRシステムのガイダンス、トレーニング可能性、放射線セグメンテーションタスクにおけるAIの統合の強力なサポートが示されている。

関連論文リスト

• Ascribe New Dimensions to Scientific Data Visualization with VR [1.9084093324993718]
  この記事では、Immersive Browsing & Explorationを使ったAutonomous Solutions for Computational ResearchのVRプラットフォームであるASCRIBE-VRを紹介する。 ASCRIBE-VRはマルチモーダル解析、構造評価、没入型可視化を可能にし、X線CT、磁気共鳴、合成3D画像などの高度なデータセットの科学的可視化をサポートする。
  論文  参考訳（メタデータ） (2025-04-18T03:59:39Z)
• MG-3D: Multi-Grained Knowledge-Enhanced 3D Medical Vision-Language Pre-training [7.968487067774351]
  3次元医用画像解析は多くの臨床応用において重要である。 3次元医用画像解析では、大規模視覚言語による事前訓練がまだ検討されていない。 大規模データ(47.1K)に基づいて事前学習したMG-3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-08T09:45:59Z)
• Self-supervised Learning via Cluster Distance Prediction for Operating Room Context Awareness [44.15562068190958]
  オペレーティングルームでは、セマンティックセグメンテーションは、臨床環境を認識したロボットを作るための中核である。 最先端のセマンティックセグメンテーションとアクティビティ認識アプローチは、スケーラブルではない、完全に管理されている。 ToFカメラで撮影したORシーン画像を利用したORシーン理解のための新しい3次元自己教師型タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-07T17:17:52Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Multisensory extended reality applications offer benefits for volumetric biomedical image analysis in research and medicine [2.46537907738351]
  高解像度ボリューム画像からの3Dデータは、現代医学における診断と治療の中心的な資源である。 近年の研究では、視覚深度知覚と触覚を持つ3次元画像の知覚に拡張現実(XR)を用いたが、制限的な触覚デバイスを用いた。 本研究では, バイオメディカル画像の専門家24名を対象に, 3次元医用形状を探索した。
  論文  参考訳（メタデータ） (2023-11-07T13:37:47Z)
• Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
  網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。 提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。 ブタ前眼の精度と再現性について実験を行った。
  論文  参考訳（メタデータ） (2023-01-17T21:41:21Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Joint Scene and Object Tracking for Cost-Effective Augmented Reality Assisted Patient Positioning in Radiation Therapy [0.6299766708197884]
  放射線治療における患者位置決めのためのAR(Augmented Reality)分野の研究は少ない。 本稿では,患者の位置追跡と患者の位置決定過程を対話的に支援する,効率的で費用対効果の高いアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-05T10:20:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。