論文の概要: UltraWorld: Learning Interactive Ultrasound World Models from Untracked Clinical Videos with Acoustic Sampling Map
- arxiv url: http://arxiv.org/abs/2610.09785v1
- Date: Wed, 07 Oct 2026 10:02:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.850523
- Title: UltraWorld: Learning Interactive Ultrasound World Models from Untracked Clinical Videos with Acoustic Sampling Map
- Title(参考訳): UltraWorld:音響サンプリングマップを用いた非追跡的臨床ビデオからインタラクティブな超音波世界モデルを学ぶ
- Abstract要約: 臨床用超音波ビデオからインタラクティブな世界モデルに先行情報を転送する自己蒸留法であるUltraWorldを提案する。
次に、これらの合成ペアを用いて発電機を自己蒸留し、局所的な観測と行動から将来の観測を予測する世界モデルを作成する。
- 参考スコア(独自算出の注目度): 5.7883550911432735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models can enable autonomous ultrasound scanning by predicting the outcomes of probe motions from local observations. Learning this action--observation relationship typically relies on synchronized video--pose pairs, which are costly to collect at scale and largely unavailable in routine clinical recordings. Reliable action following further requires modeling ultrasound's cross-sectional sampling geometry. We present UltraWorld, a self-distillation recipe that transfers priors from clinical ultrasound videos into interactive world models without real action annotations. Starting from clinical videos, we adapt a video foundation model into an ultrasound generator conditioned on reference images and anatomical masks. Anatomical masks sampled along programmable trajectories through 3D anatomy provide spatial guidance for synthesizing action--video pairs. We then use these synthetic pairs to self-distill the generator into a world model that predicts future observations from local observations and actions, without requiring anatomical masks or other 3D assets at inference time. To further improve action following, we introduce the Acoustic Sampling Map (AsMap), which represents probe poses and imaging settings as pixel-wise 3D sampling positions, beam directions, and depths. Experiments demonstrate improved prediction fidelity and action following. Across nine simulated closed-loop local planning episodes, UltraWorld reduces the mean final distance to the goal and orientation error by 29\% and 38\%, respectively, compared with visual servoing. Project Page: https://ultraworld-project.github.io/.
- Abstract(参考訳): 世界モデルは、局所的な観測からプローブの動きの結果を予測することで、自律的な超音波スキャンを可能にする。
この行動-観察関係の学習は、通常、同期されたビデオ-目的のペアに依存し、これは大規模に収集するのにコストがかかり、通常の臨床記録ではほとんど利用できない。
信頼性の高い動作は、超音波の断面サンプリング幾何をモデル化する必要がある。
臨床用超音波ビデオからリアルなアクションアノテーションを使わずにインタラクティブな世界モデルに変換する自己蒸留法であるUltraWorldを提案する。
臨床ビデオから始めると、基準画像と解剖学的マスクを条件とした超音波発生器にビデオ基礎モデルを適用する。
3次元解剖学を通してプログラム可能な軌道に沿ってサンプリングされた解剖マスクは、アクションペアの合成のための空間的ガイダンスを提供する。
次に、これらの合成ペアを用いて、予測時に解剖学的マスクやその他の3D資産を必要とせず、局所的な観測や行動から将来の観測を予測する世界モデルにジェネレータを自己蒸留する。
以下の動作を改善するために,プローブポーズと画像設定を画素ワイド3Dサンプリング位置,ビーム方向,深さとして表現したアコースティックサンプリングマップ(AsMap)を導入する。
実験では、予測忠実度とその後の行動が改善された。
擬似閉ループローカルプランニングエピソード9回にわたって、UltraWorldは、視覚サーボと比較して、目標と向きの誤差の平均最終距離を29\%と38\%に減らした。
Project Page: https://ultraworld-project.github.io/
関連論文リスト
- Action-Conditioned World Model for Goal Plane Probe Guidance in Robotic Ultrasound [13.198336762738414]
ロボット超音波における目標面プローブ誘導のための行動条件付き世界モデルフレームワークを提案する。
2段階のモデルに基づく学習パイプラインを用いてこの問題に対処する。第1に、潜伏条件拡散世界モデルが、最近の文脈フレーム、プローブ運動、時間オフセットから将来の超音波観測を予測し、第2に、ゴール条件の時間変換器が順序づけられたプローブ運動を予測し、凍結世界モデルからの報酬を用いて微調整を行う。
論文 参考訳(メタデータ) (2026-07-24T02:48:13Z) - $μ_0$: A Scalable 3D Interaction-Trace World Model [54.38434730157622]
3次元トレースに基づくスケーラブルな世界モデルを提案する。
我々のTraceExtractシステムは自動的に3Dの監視を抽出する。
これらの結果から,3次元トレーサを拡張性および移動性のあるクロスボデーメント操作の表現として確立した。
論文 参考訳(メタデータ) (2026-06-11T17:59:56Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳(メタデータ) (2026-04-19T21:21:11Z) - SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation [13.94653131033701]
リアルな外科的アクションビデオを生成することができる外科的世界モデルは、外科的AIとシミュレーションの根本的な課題に対処することができる。
現在のビデオ生成法は、推論時の条件付け信号として高価なアノテーションや複雑な構造化中間体を必要とする。
手術行動世界(SAW)は,4つの軽量信号を用いた映像拡散条件による手術行動モデリングに向けてのステップである。
論文 参考訳(メタデータ) (2026-03-13T14:32:41Z) - EchoWorld: Learning Motion-Aware World Models for Echocardiography Probe Guidance [79.66329903007869]
本稿では,プローブ誘導のためのモーションアウェアな世界モデリングフレームワークであるEchoWorldを紹介する。
解剖学的な知識と運動によって引き起こされる視覚力学を符号化する。
200以上の定期的なスキャンから100万枚以上の超音波画像で訓練されている。
論文 参考訳(メタデータ) (2025-04-17T16:19:05Z) - REMOTE: Real-time Ego-motion Tracking for Various Endoscopes via Multimodal Visual Feature Learning [0.7499722271664147]
内視鏡のためのリアルタイムエゴモーショントラッキングを実現するための新しいフレームワークを提案する。
相対的なポーズ予測を行うために,マルチモーダル視覚特徴学習ネットワークを提案する。
内視鏡の絶対的なポーズは相対的なポーズに基づいて計算される。
論文 参考訳(メタデータ) (2025-01-30T03:58:41Z) - MedTet: An Online Motion Model for 4D Heart Reconstruction [59.74234226055964]
本研究は, 術後の軽度データから3次元心臓運動を再構築するための新しいアプローチを提案する。
既存の方法では、フル3次元の体積像から3次元の臓器のジオメトリーを正確に再構築することができる。
このような部分的データから3次元運動を再構築するための汎用的なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-03T17:18:33Z) - Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings [4.592222359553848]
我々は、ベースプラットフォームとして3Dスライダを選択し、センサーとしてモノクルカメラを使用しました。
神経放射場(NeRF)アルゴリズムを用いて頭部の3次元モデル再構成を行った。
個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。
論文 参考訳(メタデータ) (2024-06-18T20:42:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。