論文の概要: TwinOR: Photorealistic Digital Twins of Dynamic Operating Rooms for Embodied AI Research

• arxiv url: http://arxiv.org/abs/2511.07412v1
• Date: Mon, 10 Nov 2025 18:57:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.430977
• Title: TwinOR: Photorealistic Digital Twins of Dynamic Operating Rooms for Embodied AI Research
• Title（参考訳）: TwinOR:体操AI研究のためのダイナミックオペレーティングルームのフォトリアリスティックデジタルツイン
• Authors: Han Zhang, Yiqing Shen, Roger D. Soberanis-Mukul, Ankita Ghosh, Hao Ding, Lalithkumar Seenivasan, Jose L. Porras, Zhekai Mao, Chenjia Li, Wenjie Xiao, Lonny Yarmus, Angela Christine Argento, Masaru Ishii, Mathias Unberath,
• Abstract要約: インテリジェントな手術システムのための具体的AIの開発には、継続的な学習と評価のために安全で制御可能な環境が必要である。 デジタル双生児は、探索と訓練のために高忠実でリスクのない環境を提供する。 我々は、AI研究のための手術室のフォトリアリスティックでダイナミックなデジタルツインを構築するためのフレームワークであるTwinORを紹介した。
• 参考スコア（独自算出の注目度）: 9.65694006177344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Developing embodied AI for intelligent surgical systems requires safe, controllable environments for continual learning and evaluation. However, safety regulations and operational constraints in operating rooms (ORs) limit embodied agents from freely perceiving and interacting in realistic settings. Digital twins provide high-fidelity, risk-free environments for exploration and training. How we may create photorealistic and dynamic digital representations of ORs that capture relevant spatial, visual, and behavioral complexity remains unclear. We introduce TwinOR, a framework for constructing photorealistic, dynamic digital twins of ORs for embodied AI research. The system reconstructs static geometry from pre-scan videos and continuously models human and equipment motion through multi-view perception of OR activities. The static and dynamic components are fused into an immersive 3D environment that supports controllable simulation and embodied exploration. The proposed framework reconstructs complete OR geometry with centimeter level accuracy while preserving dynamic interaction across surgical workflows, enabling realistic renderings and a virtual playground for embodied AI systems. In our experiments, TwinOR simulates stereo and monocular sensor streams for geometry understanding and visual localization tasks. Models such as FoundationStereo and ORB-SLAM3 on TwinOR-synthesized data achieve performance within their reported accuracy on real indoor datasets, demonstrating that TwinOR provides sensor-level realism sufficient for perception and localization challenges. By establishing a real-to-sim pipeline for constructing dynamic, photorealistic digital twins of OR environments, TwinOR enables the safe, scalable, and data-efficient development and benchmarking of embodied AI, ultimately accelerating the deployment of embodied AI from sim-to-real.
• Abstract（参考訳）: インテリジェントな手術システムのための具体的AIの開発には、継続的な学習と評価のために安全で制御可能な環境が必要である。 しかし、手術室(OR)における安全規制と運用上の制約は、現実的な環境での操作を自由に知覚・操作することを制限する。 デジタル双生児は、探索と訓練のために高忠実でリスクのない環境を提供する。 関連性のある空間的、視覚的、行動的複雑さを捉えるORの光現実的、動的デジタル表現をどのように作成するかは、まだ不明である。 我々は、光リアルでダイナミックなORのデジタルツインを構築するためのフレームワークであるTwinORを紹介した。 このシステムは,先行スキャン映像から静的な幾何学を再構築し,OR活動の多視点認識を通じて人や機器の動きを連続的にモデル化する。 静的および動的コンポーネントは、制御可能なシミュレーションと具体化探索をサポートする没入型3D環境に融合される。 提案フレームワークは,外科的ワークフロー間の動的相互作用を保ちながら,全OR幾何をセンチメートル単位の精度で再構成し,リアルなレンダリングと,具体化されたAIシステムのための仮想グラウンドを実現する。 我々の実験では、Twinorは幾何学的理解と視覚的位置決め作業のためのステレオおよび単分子センサーストリームをシミュレートする。 FoundationStereoやORB-SLAM3のようなTwinOR合成データのようなモデルは、実際の屋内データセット上で報告された精度で性能を達成し、TwinORが認識とローカライゼーションの課題に十分なセンサーレベルのリアリズムを提供することを示した。 TwinORは、OR環境の動的でフォトリアリスティックなデジタルツインを構築するためのリアルタイムパイプラインを確立することで、エンボディAIの安全でスケーラブルでデータ効率のよい開発とベンチマークを可能にし、最終的にはsim-to-realへのエンボディAIのデプロイを加速する。

関連論文リスト

• Dyna-Mind: Learning to Simulate from Experience for Better AI Agents [62.21219817256246]
  私たちは、現在のAIエージェントは、行動する前に、別の未来を精神的にシミュレートする能力である「悪意ある試行錯誤」を必要としていると論じます。 我々は、(V)LMエージェントに対して、そのようなシミュレーションを推論に組み込むように明示的に教える2段階のトレーニングフレームワークであるDyna-Mindを紹介した。
  論文  参考訳（メタデータ） (2025-10-10T17:30:18Z)
• R3D2: Realistic 3D Asset Insertion via Diffusion for Autonomous Driving Simulation [78.26308457952636]
  本稿では,自律運転シミュレーションの限界を克服する軽量な1ステップ拡散モデルであるR3D2を紹介する。 シャドウや一貫した照明など、妥当なレンダリング効果を生み出すことで、既存のシーンに完全な3Dアセットを現実的に挿入することができる。 R3D2は挿入されたアセットの現実性を大幅に向上させ,テキストから3Dへのアセット挿入やクロスシーン/データセットオブジェクト転送といったユースケースを可能にした。
  論文  参考訳（メタデータ） (2025-06-09T14:50:19Z)
• RealEngine: Simulating Autonomous Driving in Realistic Context [60.55873455475112]
  RealEngineは3Dシーン再構成と新しいビュー合成技術を統合する新しい運転シミュレーションフレームワークである。 実世界のマルチモーダルセンサーデータを活用することで、RealEngineはバックグラウンドシーンとフォアグラウンドトラフィック参加者を別々に再構築し、非常に多様な現実的なトラフィックシナリオを実現する。 RealEngineは、非反応性シミュレーション、安全性テスト、マルチエージェントインタラクションの3つの重要な駆動シミュレーションカテゴリをサポートしている。
  論文  参考訳（メタデータ） (2025-05-22T17:01:00Z)
• VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion [25.440573256776133]
  本稿では,視覚ナビゲーションと移動学習のための物理的にインタラクティブな「デジタルツイン」シミュレーション環境を生成する,リアル・ツー・シム・トゥ・リアルのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:15:05Z)
• UnrealZoo: Enriching Photo-realistic Virtual Worlds for Embodied AI [37.47562766916571]
  Unreal Engine上に構築された100以上の写真リアルな3DバーチャルワールドのコレクションであるUnrealZooを紹介します。 私たちはまた、人間、動物、ロボット、そしてAI研究の具体化のための車両を含む、さまざまな遊び可能なエンティティも提供しています。
  論文  参考訳（メタデータ） (2024-12-30T14:31:01Z)
• GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
  GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。 まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。 得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
  論文  参考訳（メタデータ） (2021-01-16T23:00:33Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)
• RoboTHOR: An Open Simulation-to-Real Embodied AI Platform [56.50243383294621]
  インタラクティブで具体化された視覚AIの研究を民主化するためにRoboTHORを導入する。 シミュレーションで訓練されたモデルの性能は,シミュレーションと慎重に構築された物理アナログの両方で試験される場合,大きな差があることが示される。
  論文  参考訳（メタデータ） (2020-04-14T20:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。