論文の概要: Did you just see that? Arbitrary view synthesis for egocentric replay of operating room workflows from ambient sensors
- arxiv url: http://arxiv.org/abs/2510.04802v1
- Date: Mon, 06 Oct 2025 13:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.88057
- Title: Did you just see that? Arbitrary view synthesis for egocentric replay of operating room workflows from ambient sensors
- Title(参考訳): さっそく見た? 環境センサーによる手術室のワークフローのエゴセントリックなリプレイのための任意ビュー合成
- Authors: Han Zhang, Lalithkumar Seenivasan, Jose L. Porras, Roger D. Soberanis-Mukul, Hao Ding, Hongchao Shu, Benjamin D. Killeen, Ankita Ghosh, Lonny Yarmus, Masaru Ishii, Angela Christine Argento, Mathias Unberath,
- Abstract要約: EgoSurgは、壁に取り付けられた固定カメラビデオから直接、手術室(OR)スタッフのダイナミックでエゴセントリックなリプレイを再構築するフレームワークである。
複数部位の手術症例と対照研究における評価において,EgoSurgは人固有の視野と任意の視点を高い視覚的品質と忠実さで再構築した。
- 参考スコア(独自算出の注目度): 8.164271100382747
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Observing surgical practice has historically relied on fixed vantage points or recollections, leaving the egocentric visual perspectives that guide clinical decisions undocumented. Fixed-camera video can capture surgical workflows at the room-scale, but cannot reconstruct what each team member actually saw. Thus, these videos only provide limited insights into how decisions that affect surgical safety, training, and workflow optimization are made. Here we introduce EgoSurg, the first framework to reconstruct the dynamic, egocentric replays for any operating room (OR) staff directly from wall-mounted fixed-camera video, and thus, without intervention to clinical workflow. EgoSurg couples geometry-driven neural rendering with diffusion-based view enhancement, enabling high-visual fidelity synthesis of arbitrary and egocentric viewpoints at any moment. In evaluation across multi-site surgical cases and controlled studies, EgoSurg reconstructs person-specific visual fields and arbitrary viewpoints with high visual quality and fidelity. By transforming existing OR camera infrastructure into a navigable dynamic 3D record, EgoSurg establishes a new foundation for immersive surgical data science, enabling surgical practice to be visualized, experienced, and analyzed from every angle.
- Abstract(参考訳): 歴史的に外科的プラクティスの観察は、固定された前立腺点や記憶に依存しており、臨床上の決定を文書化せずに導く自我中心的な視覚的視点を残している。
固定カメラビデオは、手術のワークフローを部屋の規模で捉えることができるが、各チームメンバーが実際に見たものを再構築することはできない。
したがって、これらのビデオは、外科的安全性、トレーニング、ワークフローの最適化に影響を及ぼす決定について、限られた洞察しか得られない。
ここでは,壁付固定カメラビデオから直接手術室(OR)スタッフのダイナミックでエゴセントリックなリプレイを再構築する最初のフレームワークであるEgoSurgを紹介する。
EgoSurgは、幾何駆動のニューラルレンダリングと拡散に基づくビューエンハンスメントを結合し、任意の視点と自我中心の視点の高視覚的忠実性合成を可能にする。
複数部位の手術症例と対照研究における評価において,EgoSurgは人固有の視野と任意の視点を高い視覚的品質と忠実さで再構築した。
既存のORカメラのインフラをナビゲート可能なダイナミックな3Dレコードに変換することで、EgoSurgは没入型外科データ科学の新たな基盤を確立し、手術の練習を視覚化し、経験し、あらゆる角度から分析できるようにする。
関連論文リスト
- PlayerOne: Egocentric World Simulator [73.88786358213694]
PlayerOneは、最初のエゴセントリックなリアルワールドシミュレータである。
それは、エゴセントリックなビデオを生成し、エゴセントリックなカメラで捉えたユーザーの実際のシーンの人間の動きと厳密に一致している。
論文 参考訳(メタデータ) (2025-06-11T17:59:53Z) - Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
低侵襲手術(MIS)におけるリアルタイム映像理解の重要性
手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。
C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2025-05-16T14:02:24Z) - Vision-Based Neurosurgical Guidance: Unsupervised Localization and Camera-Pose Prediction [41.91807060434709]
内視鏡的処置中に自分自身を位置決めすることは、区別可能なテクスチャやランドマークが欠如しているため、問題となることがある。
本稿では,解剖学的認識に基づく深層学習手法を提案する。
論文 参考訳(メタデータ) (2024-05-15T14:09:11Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳(メタデータ) (2024-03-25T13:09:40Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳(メタデータ) (2024-01-16T18:55:22Z) - BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields [5.773068487121897]
内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。
我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。
本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
論文 参考訳(メタデータ) (2023-09-27T00:20:36Z) - Egocentric Audio-Visual Object Localization [51.434212424829525]
本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。
エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。
視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
論文 参考訳(メタデータ) (2023-03-23T17:43:11Z) - E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception [15.927060244702686]
28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
論文 参考訳(メタデータ) (2021-07-01T05:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。