論文の概要: US-VLA: An Ultrasound Vision-Language-Action Model for Embodied Abdomina
- arxiv url: http://arxiv.org/abs/2608.16074v1
- Date: Mon, 17 Aug 2026 04:12:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.51996
- Title: US-VLA: An Ultrasound Vision-Language-Action Model for Embodied Abdomina
- Title(参考訳): US-VLA : 身体性無症候症に対する超音波ビジョン・ランゲージ・アクションモデル
- Abstract要約: 自動超音波スキャンのための超音波ビジョン言語行動モデル(US-VLA)を提案する。
US-VLAは臨床意味目標を符号化し、リアルタイム超音波フィードバックの下でシーケンシャルなプローブ操作動作を生成する。
実験により,US-VLAは超音波プローブ操作タスクにおいて競争性能を発揮することが示された。
- 参考スコア(独自算出の注目度): 18.156551505447226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial intelligence-assisted ultrasound scanning enhances diagnostic reliability and efficiency by providing real-time guidance for standardized image acquisition and reducing operator dependence. However, existing reinforcement learning and learning-assisted ultrasound scanning methods typically rely on carefully designed reward functions or extensive interaction data, which limits their generalization ability and stability across different devices, patient populations, and complex clinical scenarios. To address these challenges, we propose an ultrasound vision-language-action model (US-VLA) for automated ultrasound scanning that explicitly encodes clinical semantic goals and generates sequential probe manipulation actions under real-time ultrasound feedback. In particular, we first design an ultrasound-aware expert fusion module to jointly integrate ultrasound observations with auxiliary contextual information, enabling semantic ultrasound feedback to effectively guide the scanning process. Then, we construct US-VLA-Data, a real-world dataset covering liver and kidney examinations, which includes five clinically defined standard planes and comprises 320 expert scanning trajectories with approximately 80,000 synchronized timesteps. Extensive experiments demonstrate that US-VLA achieves competitive performance in ultrasound probe manipulation tasks, indicating its effectiveness and promising generalization within the evaluated abdominal ultrasound setting. The source code is available at https://github.com/VMVLab/US-VLA.
- Abstract(参考訳): 人工知能支援超音波スキャンは、標準化された画像取得のためのリアルタイムガイダンスを提供することで、診断の信頼性と効率を向上させる。
しかし、既存の強化学習および学習支援超音波スキャン法は、一般的に慎重に設計された報酬関数や広範囲な相互作用データに依存しており、様々なデバイス、患者集団、複雑な臨床シナリオの一般化能力と安定性を制限している。
これらの課題に対処するために,臨床意味目標を明示的に符号化し,リアルタイム超音波フィードバック下でのシーケンシャルなプローブ操作動作を生成する自動超音波スキャンのための超音波ビジョン言語行動モデル(US-VLA)を提案する。
特に,まず超音波専門家融合モジュールを設計し,超音波観測と補助的文脈情報とを協調的に統合し,意味的超音波フィードバックによって走査過程を効果的に導出する。
次に,肝臓と腎臓の検査を対象とする実世界のデータセットであるUS-VLA-Dataを構築した。
超音波探触子操作におけるUS-VLAの競争性能は, 腹部超音波検査における有効性と有望な一般化を示した。
ソースコードはhttps://github.com/VMVLab/US-VLAで公開されている。
関連論文リスト
- ForceU-VLA: A Force-Aware Vision-Language-Action Model for Embodied Ultrasound Scanning [17.732925254008943]
超音波検査プロセスの自動化と標準化を可能にする。
既存の手法は、力と超音波のモード間の疎結合なモデリングに悩まされている。
本稿では,自律型超音波スキャンのための力認識型ビジョン・ランゲージ・アクションモデルであるForceU-VLAを提案する。
論文 参考訳(メタデータ) (2026-08-15T03:39:40Z) - TRUST: Efficient Abdominal Trauma Recognition via Image-to-Ultrasound-Video Transfer Learning [9.697220089288564]
本稿では,超音波映像の信頼性を高めるために,微細時間変動を明示的にモデル化するスキャン対応PEIVTLフレームワークを提案する。
社内の超音波外傷データセットの実験では、TRUSTは最先端の手法よりも9.63%優れ、計算効率が優れていることが示されている。
論文 参考訳(メタデータ) (2026-06-26T07:06:34Z) - VA-Adapter: Adapting Ultrasound Foundation Model to Echocardiography Probe Guidance [57.43511837589102]
我々は、膨大なデータセットから基礎モデルで学習した医療知識をプローブガイダンスタスクに適用する。
我々は,基礎モデルのイメージエンコーダが視覚アクションシーケンスをエンコードできるように,パラメータ効率のよいビジュアル・アクション・アダプタ (VA-Adapter) を巧みに設計する。
VA-Adapterは、コンパクトな設計でシーケンシャル推論機能を組み込むことで、事前訓練された超音波基礎モデルにより、精密なプローブ調整戦略を学習することができる。
論文 参考訳(メタデータ) (2025-10-08T09:38:30Z) - EchoVLM: Dynamic Mixture-of-Experts Vision-Language Model for Universal Ultrasound Intelligence [9.731550105507457]
本稿では,超音波医療画像に特化して設計された視覚言語モデルであるEchoVLMを提案する。
このモデルは、7つの解剖学的領域にまたがるデータに基づいてトレーニングされたMixture of Experts (MoE)アーキテクチャを採用している。
EchoVLMは、それぞれBLEU-1スコアとROUGE-1スコアで10.15点と4.77点を大きく改善した。
論文 参考訳(メタデータ) (2025-09-18T14:07:53Z) - A Fully Open and Generalizable Foundation Model for Ultrasound Clinical Applications [77.3888788549565]
一般臨床用超音波基礎モデルであるEchoCareについて紹介する。
我々は、キュレートされた、一般公開された大規模なデータセットであるEchoCareData上で、自己教師付き学習を通じてEchoCareを開発した。
最小限のトレーニングで、EchoCareは10の代表的なベンチマークで最先端の比較モデルを上回っている。
論文 参考訳(メタデータ) (2025-09-15T10:05:31Z) - Patient-Specific Real-Time Segmentation in Trackerless Brain Ultrasound [35.526097492693864]
術中超音波(iUS)画像検査は、脳外科手術の手術成績を改善する可能性がある。
しかし、その解釈は、専門家の神経外科医にとっても難しい。
本研究では,トラッカーレスiUSで脳腫瘍のセグメンテーションを行う最初の患者特異的フレームワークを設計した。
論文 参考訳(メタデータ) (2024-05-16T10:07:30Z) - Enhancing Surgical Robots with Embodied Intelligence for Autonomous Ultrasound Scanning [24.014073238400137]
超音波ロボットは、医療診断や早期疾患スクリーニングにますます利用されている。
現在の超音波ロボットは人間の意図や指示を理解する知性に欠けています。
本研究では,超音波ロボットに大規模言語モデルとドメイン知識を付加した新しい超音波エンボディードインテリジェンスシステムを提案する。
論文 参考訳(メタデータ) (2024-05-01T11:39:38Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳(メタデータ) (2024-03-21T15:13:36Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - Learning Robotic Ultrasound Scanning Skills via Human Demonstrations and
Guided Explorations [12.894853456160924]
本研究では,人間の実演からロボット超音波スキャン技術を学ぶための学習に基づくアプローチを提案する。
まず,ロボット超音波スキャン技術を高次元マルチモーダルモデルにカプセル化し,超音波画像,プローブのポーズ・配置,接触力を考慮した。
第2に、経験者超音波医師のデモンストレーションから収集したトレーニングデータを用いて、模倣学習の力を利用してマルチモーダルモデルを訓練する。
論文 参考訳(メタデータ) (2021-11-02T14:38:09Z) - Voice-assisted Image Labelling for Endoscopic Ultrasound Classification
using Neural Networks [48.732863591145964]
本稿では,臨床医が提示した生音声からのEUS画像にラベルを付けるマルチモーダル畳み込みニューラルネットワークアーキテクチャを提案する。
その結果,5つのラベルを持つデータセットにおいて,画像レベルでの予測精度は76%であった。
論文 参考訳(メタデータ) (2021-10-12T21:22:24Z) - Deep Learning for Ultrasound Beamforming [120.12255978513912]
受信した超音波エコーを空間画像領域にマッピングするビームフォーミングは、超音波画像形成チェーンの心臓に位置する。
現代の超音波イメージングは、強力なデジタル受信チャネル処理の革新に大きく依存している。
ディープラーニング手法は、デジタルビームフォーミングパイプラインにおいて魅力的な役割を果たす。
論文 参考訳(メタデータ) (2021-09-23T15:15:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。