論文の概要: From Phase Grounding to Intelligent Surgical Narratives

• arxiv url: http://arxiv.org/abs/2603.05732v1
• Date: Thu, 05 Mar 2026 22:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.682902
• Title: From Phase Grounding to Intelligent Surgical Narratives
• Title（参考訳）: フェーズグラウンドからインテリジェントな外科的物語へ
• Authors: Ethan Peterson, Huixin Zhan,
• Abstract要約: ビデオ手術のタイムラインは、外科医が手術の重要な部分に集中できるため、ツール補助手術の重要な部分である。 現在の方法では、外科医が手術後の報告(OP)を記入するが、これはしばしば曖昧であり、手動で手術ビデオに注釈を付ける。 本手法は,手術映像から直接,手術スケジュールと物語を自動生成することを目的としている。
• 参考スコア（独自算出の注目度）: 4.047840018793636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video surgery timelines are an important part of tool-assisted surgeries, as they allow surgeons to quickly focus on key parts of the procedure. Current methods involve the surgeon filling out a post-operation (OP) report, which is often vague, or manually annotating the surgical videos, which is highly time-consuming. Our proposed method sits between these two extremes: we aim to automatically create a surgical timeline and narrative directly from the surgical video. To achieve this, we employ a CLIP-based multi-modal framework that aligns surgical video frames with textual gesture descriptions. Specifically, we use the CLIP visual encoder to extract representations from surgical video frames and the text encoder to embed the corresponding gesture sentences into a shared embedding space. We then fine-tune the model to improve the alignment between video gestures and textual tokens. Once trained, the model predicts gestures and phases for video frames, enabling the construction of a structured surgical timeline. This approach leverages pretrained multi-modal representations to bridge visual gestures and textual narratives, reducing the need for manual video review and annotation by surgeons.
• Abstract（参考訳）: ビデオ手術のタイムラインは、外科医が手術の重要な部分に集中できるため、ツール補助手術の重要な部分である。 現在の方法では、手術後報告(OP)を記入するが、これは曖昧な場合が多い。 提案手法は,手術ビデオから直接,手術スケジュールと物語を自動生成することを目的としている。 これを実現するために,手術用ビデオフレームとテキストジェスチャー記述を整列するCLIPベースのマルチモーダルフレームワークを用いる。 具体的には、CLIPビジュアルエンコーダを用いて、手術用ビデオフレームとテキストエンコーダから表現を抽出し、対応するジェスチャー文を共有埋め込み空間に埋め込む。 次に、ビデオジェスチャとテキストトークンのアライメントを改善するために、モデルを微調整する。 トレーニングが完了すると、ビデオフレームのジェスチャーとフェーズを予測し、構造化された手術タイムラインの構築を可能にする。 このアプローチは、事前訓練されたマルチモーダル表現を活用して、視覚的なジェスチャーやテキストによる物語をブリッジし、外科医による手動ビデオレビューやアノテーションの必要性を減らす。

関連論文リスト

• Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion [54.359489807885616]
  SurgRefは、自由形式の言語表現を楽器の動きに基礎を置くモーションガイドフレームワークである。 SurgRefをトレーニングし,評価するために,高密度時間マスクとリッチモーション表現を備えた多機能ビデオデータセットRef-IMotionを提案する。
  論文  参考訳（メタデータ） (2026-01-18T02:14:08Z)
• Enhancing Surgical Documentation through Multimodal Visual-Temporal Transformers and Generative AI [15.513949299806582]
  外科的ビデオの自動要約は, 手続き的文書の充実, 外科的訓練の支援, 術後分析の促進に不可欠である。 本稿では,コンピュータビジョンと大規模言語モデルの最近の進歩を活用して,包括的な映像要約を生成するマルチモーダルフレームワークを提案する。 また,50個の腹腔鏡画像からの計測とアクションアノテーションを用いて,ColecT50データセットを用いて本手法の評価を行った。
  論文  参考訳（メタデータ） (2025-04-28T15:46:02Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。