論文の概要: Surg-UniWorld: A Unified Surgical World Model with Multimodal Control Experts
- arxiv url: http://arxiv.org/abs/2608.06770v1
- Date: Fri, 07 Aug 2026 03:43:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.341947
- Title: Surg-UniWorld: A Unified Surgical World Model with Multimodal Control Experts
- Title（参考訳）: Surg-UniWorld:マルチモーダルコントロール専門家による統一手術世界モデル
- Abstract要約: マルチモーダル制御の専門家による統合手術の世界モデルであるSurg-UniWorldを提案する。
Surg-UniWorldは、既存の制御可能なビデオ生成手法を一貫して上回っている。
- 参考スコア（独自算出の注目度）: 29.180857179204533
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Controllable surgical world models can provide a generative foundation for surgical artificial intelligence and simulation by synthesizing realistic instrument--tissue interactions. However, existing methods lack a unified multimodal control paradigm, while direct fusion of heterogeneous visual conditions often causes anatomical distortion, instrument appearance drift, and temporally inconsistent interactions. In this work, we propose {Surg-UniWorld}, a unified surgical world model with multimodal control experts. Surg-UniWorld first constructs a {Hierarchical Surgical Anchor} from first-frame appearance and hierarchical semantic masks to preserve persistent scene identity, anatomical organization, and interaction boundaries. {Anchor-Relative Modality Experts} then interpret edge, depth, and optical-flow evidence relative to the shared anchor, capturing complementary boundary, geometric, and motion information. A {Multimodal Control Expert} further performs contribution-preserving stage-wise composition of the activated modality increments and generates control hints for the Wan2.2 video diffusion backbone. To support multimodal surgical world modeling, we further construct Cholec80-SurgWAM, a benchmark for controllable surgical video generation. Extensive experiments demonstrate that Surg-UniWorld consistently outperforms existing controllable video generation methods and surgical world-model baselines in generation quality, temporal consistency, and multimodal controllability.
- Abstract（参考訳）: 制御可能な外科的世界モデルは、リアルな機器とタスクの相互作用を合成することによって、外科的人工知能とシミュレーションのための生成基盤を提供することができる。
しかし、既存の手法には統一されたマルチモーダル制御パラダイムが欠けているが、異種視覚条件の直接融合は、しばしば解剖学的歪み、機器の外観のドリフト、時間的不整合相互作用を引き起こす。
本研究では,多モード制御の専門家による統一手術世界モデルであるSurg-UniWorldを提案する。
Surg-UniWorldは、まず第一フレームの外観と階層的なセマンティックマスクから、永続的なシーンアイデンティティ、解剖学的組織、相互作用境界を保存するために、‘階層的手術アンカー’を構築する。
アンカー・リレーティブ・モダリティ・エキスパートズ(Anchor-Relative Modality Experts)は、共有アンカーに対するエッジ、深さ、および光フローの証拠を解釈し、相補的境界、幾何学的および運動情報を取得する。
マルチモーダル制御エキスパートは、さらに、活性化されたモダリティインクリメントのコントリビューション保存段階的な構成を行い、Wan2.2ビデオ拡散バックボーンの制御ヒントを生成する。
マルチモーダルな手術用ワールドモデリングを支援するため,手術用ビデオ生成のためのベンチマークであるColec80-SurgWAMを構築した。
大規模な実験により、Surg-UniWorldは、既存の制御可能なビデオ生成方法と、生成品質、時間的一貫性、マルチモーダル制御性において、外科的ワールドモデルベースラインを一貫して上回っていることが示された。
関連論文リスト
- Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control [31.020641426071293]
我々は、スケーラブルな異種アクション制御のためのMixture-of-Experts世界モデルであるWorldscape-MoEを紹介する。
私たちのキーとなる観察は、異なるコントロールが、同じ基礎となる世界に対して異なるインターフェースを指定していることです。
Worldscape-MoEは、この観察をモダリティ対応制御インジェクション、共有および制御固有の専門家、およびプログレッシブなMoEチューニング戦略を通じて運用する。
論文 参考訳（メタデータ） (2026-07-04T17:45:38Z) - OMG: Omni-Modal Motion Generation for Generalist Humanoid Control [30.236954254902614]
汎用ヒューマノイド制御の鍵は、リアクティブなモーショントラッキングシステムの上に、スケーラブルな脳を構築することだと我々は主張する。
汎用制御を実現するために大量の高品質なデータを取得すること,および構成的マルチモーダル入力の条件付け機能を備えたジェネレータを備えること,という2つの課題に対処する。
論文 参考訳（メタデータ） (2026-06-09T02:46:14Z) - AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization [79.26935895370191]
AnchorWorldは、対話の整合性を強化することで、エゴセントリックなシミュレーションを促進するフレームワークである。
補助訓練監督は、エージェントのファーストパーソンセンタリウムから切り離された視点を取り入れている。
我々は、自己進化する世界をカスタマイズするためのシンプルで効果的なメカニズムを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:43:13Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳（メタデータ） (2026-06-01T18:20:20Z) - UniSurgSAM: A Unified Promptable Model for Reliable Surgical Video Segmentation [18.74680721916099]
視覚的,テキスト的,あるいは音声的プロンプトによる信頼性の高い手術ビデオ分割を可能にする統合PVOSモデルUniSurgSAMを提案する。
本稿では,幻覚の抑制を目的とした存在認識復号法,拡張シーケンス上のマスクドリフトを防止する境界認識長期追跡法,障害回復のための段階間のループを閉じる適応状態遷移の3つの重要な設計を提案する。
UniSurgSAMは、あらゆる急進的なモダリティと粒度にわたる最先端のパフォーマンスをリアルタイムで達成し、コンピュータ支援手術の実践的な基盤を提供する。
論文 参考訳（メタデータ） (2026-04-04T08:44:10Z) - Astra: General Interactive World Model with Autoregressive Denoising [73.6594791733982]
Astraはインタラクティブな汎用世界モデルであり、多様なシナリオのために現実世界の未来を生成する。
本稿では,自己回帰型認知型アーキテクチャを提案し,時間的因果的注意を用いて過去の観測を集約する。
Astraはインタラクティブで一貫性があり、一般的な長期的なビデオ予測を実現し、様々な形式のインタラクションをサポートする。
論文 参考訳（メタデータ） (2025-12-09T18:59:57Z) - SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding [75.00667948967848]
SurgLLMフレームワークは、多用途の手術ビデオ理解タスクに適した、大規模なマルチモーダルモデルである。
外科的ビデオの空間的焦点を高めるために,SurgLLMの動画エンコーダのためのSurg-Pretraining(Surg-Pretraining)を最初に考案した。
外科的時間的知識をSurgLLMに組み込むため, インターリーブ型マルチモーダル埋め込みによる時間的推論を改善するために, 時間的対応型マルチモーダルチューニング(TM-Tuning)を提案する。
論文 参考訳（メタデータ） (2025-08-30T04:36:41Z) - Visuomotor Grasping with World Models for Surgical Robots [6.228255257808355]
外科的把握のための視覚的学習フレームワークであるGrasp Anything for Surgery V2 (GASv2)を紹介した。
我々は,ドメインランダム化を用いてシミュレーションの方針を訓練し,ファントムと生体外の両方で実ロボットに展開する。
実験の結果,両設定ともに65%の成功率を示し,未確認の物体やグリップに一般化し,多様な乱れに適応することがわかった。
論文 参考訳（メタデータ） (2025-08-15T04:23:07Z) - InterActHuman: Multi-Concept Human Animation with Layout-Aligned Audio Conditions [70.63690961790573]
リッチなマルチモーダル条件を持つエンドツーエンドの人間アニメーションは,近年顕著な進歩を遂げている。
既存のほとんどの手法は、単一の主題をアニメーションし、グローバルな方法で条件を注入するしかなかった。
本稿では,各アイデンティティの時間的フットプリントに対する条件の強い領域特異的な結合を強制する,新しい枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-11T17:57:09Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳（メタデータ） (2021-06-09T14:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。