論文の概要: NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics

• arxiv url: http://arxiv.org/abs/2608.24199v2
• Date: Thu, 27 Aug 2026 12:43:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.781228
• Title: NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics
• Title（参考訳）: NVIDIA Cosmos-H-Dreams: 手術ロボットのためのリアルタイム生成物理シミュレーション
• Authors: Javier Gamazo Tejero, Lukas Zbinden, Keyur Sheth, Raghavendra K M, Nadim Daher, Diego Granero Maraña, Filip Binkiewicz, Patrick Thornycroft, Mahdi Azizian, Sean D. Huver,
• Abstract要約: Cosmos-H-Dreamsは、リアルタイムの外科的世界モデルシステムである。 アクション条件付き生成モデル、教師から学生への蒸留レシピ、NVIDIA FlashDreamsストリーミング推論ライブラリ上に構築されたデプロイメントスタックを組み合わせたものだ。 我々の知る限り、これは生きた人間と政策制御をサポートする初めてのインタラクティブな外科的世界モデルである。
• 参考スコア（独自算出の注目度）: 0.8363941313796607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative simulation for surgical robotics still lacks real-time interaction. Physical-robot experiments, often involving animal or cadaver labs, are time-consuming, costly, and difficult to reproduce, while classical simulators struggle to capture photorealistic appearance and deformable-tissue dynamics. We address this gap with Cosmos-H-Dreams, an integrated real-time surgical world-model system combining an action-conditioned generative model, a teacher-to-student distillation recipe, and a deployment stack built on the NVIDIA FlashDreams streaming-inference library. Starting from Cosmos-H-Surgical-Simulator, a multi-embodiment action-conditioned surgical video world model fine-tuned on the large-scale Open-H-Embodiment corpus, we post-train this checkpoint on embodiment- and procedure-specific data. By distilling the resulting bidirectional teacher into a causal, few-step student with Self Forcing, we turn a passive video generator into a controllable surgical simulator that streams at $\sim$160 inference FPS on a single NVIDIA RTX PRO 6000 Blackwell workstation GPU. Crucially, Cosmos-H-Dreams is controller-agnostic: any interface that emits a stream of robot kinematics can drive it. We demonstrate live control through a browser keyboard over WebRTC, a Meta Quest headset over WebXR, a commercial surgical robot console such as CMR Surgical's Versius, and learned policies operating in closed loop. To our knowledge, this is the first interactive surgical world model supporting live human and policy control. Human operators and policies alike can act inside the synthesized world and observe the consequences in real time. We release Cosmos-H-Dreams as an open surgical simulation system, providing a common foundation for surgical education, scalable synthetic data generation, and future intraoperative decision support.
• Abstract（参考訳）: 外科ロボティクスのための生成的シミュレーションはまだリアルタイムの相互作用が欠けている。 動物や死体のラボを含む物理ロボットの実験は、時間を費やし、コストがかかり、再現が困難であるのに対して、古典的なシミュレーターは、フォトリアリスティックな外観と変形可能な形状のダイナミクスを捉えるのに苦労している。 このギャップに対処するために, NVIDIA FlashDreamsストリーミング推論ライブラリ上に構築された, アクション条件付き生成モデル, 教師から学生への蒸留レシピ, デプロイメントスタックを組み合わせた, リアルタイムな外科的世界モデルシステムであるCosmos-H-Dreamsを取り上げる。 The Cosmos-H-Surgical-Simulator, a multi-embodiment action-conditioned surgery video world model fine-tuned on the large-scale Open-H-Embodiment corpus, we post-train this checkpoint on embodiment- and procedure-specific data。 得られた双方向の教師をSelf Forcingで因果的に数ステップの学生に蒸留することで、受動的ビデオジェネレータを制御可能な手術シミュレータに変換し、1台のNVIDIA RTX PRO 6000 BlackwellワークステーションGPU上で160ドルの推論FPSでストリーミングする。 重要なことは、Cosmos-H-Dreamsはコントローラに依存しない。 我々は、WebRTC上のブラウザキーボード、WebXR上のMeta Questヘッドセット、CMR surgeryのVersiusのような商用手術ロボットコンソールによるライブコントロールを実演し、クローズドループで動作するポリシーを学んだ。 我々の知る限り、これは生きた人間と政策制御をサポートする初めてのインタラクティブな外科的世界モデルである。 人間のオペレータやポリシーは、合成された世界の中で行動し、リアルタイムで結果を観察します。 オープンな手術シミュレーションシステムとしてCosmos-H-Dreamsをリリースし,外科教育,スケーラブルな合成データ生成,将来的な術中意思決定支援の共通基盤を提供する。

関連論文リスト

• SurgVIL: Scaling Surgical Robot Imitation Learning with Open-source Surgical Videos [3.1495623798952823]
  SurgVILは、オープンソースの手術ビデオを使って、手術ロボットの模倣学習をスケールするためのフレームワークである。 ニードルピックアップと胆嚢摘出術の2つのロボット作業におけるSurgVILの評価を行った。
  論文  参考訳（メタデータ） (2026-08-17T03:33:03Z)
• Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics [131.25998619318702]
  医療用ロボットビデオの最大のオープンデータセットであるOpen-H-Embodimentを紹介した。 GR00T-Hは、医療ロボティクスのための最初のオープン・ファンデーション・ビジョン・ランゲージ・アクション・モデルである。 我々は,多体手術シミュレーションを可能にする最初の行動条件世界モデルであるCosmos-H-Surgical-Simulatorを訓練する。
  論文  参考訳（メタデータ） (2026-04-22T19:05:17Z)
• SurgWorld: Learning Surgical Robot Policies from Videos via World Modeling [19.99022199561975]
  SurgWorldは外科用物理AI用に設計された世界モデルである。 SurgeWorldは多様な、一般化可能な、リアルな手術ビデオを生成する。 合成外科的ビデオから擬似キネマティクスを推測するために逆動力学モデルを用いた最初の例である。
  論文  参考訳（メタデータ） (2025-12-29T03:03:00Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• Towards Suturing World Models: Learning Predictive Models for Robotic Surgical Tasks [0.35087986342428684]
  微小なロボットサブスティッチ動作のダイナミクスを捉える拡散型時間モデルを導入する。 我々は2つの最先端ビデオ拡散モデルを微調整し、50ドルLox解像度と49ドルフレームの高忠実度手術アクションシーケンスを生成する。 実験の結果, これらの世界モデルは縫合のダイナミクスを効果的に捉え, トレーニング, スキルアセスメントツール, 自律型手術システムなどを改善することができることがわかった。
  論文  参考訳（メタデータ） (2025-03-16T14:51:12Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。