論文の概要: From Phase Grounding to Intelligent Surgical Narratives

• arxiv url: http://arxiv.org/abs/2603.05732v1
• Date: Thu, 05 Mar 2026 22:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:44.682902
• Title: From Phase Grounding to Intelligent Surgical Narratives
• Title（参考訳）: フェーズグラウンドからインテリジェントな外科的物語へ
• Abstract要約: ビデオ手術のタイムラインは、外科医が手術の重要な部分に集中できるため、ツール補助手術の重要な部分である。 現在の方法では、外科医が手術後の報告(OP)を記入するが、これはしばしば曖昧であり、手動で手術ビデオに注釈を付ける。 本手法は,手術映像から直接,手術スケジュールと物語を自動生成することを目的としている。
• 参考スコア（独自算出の注目度）: 4.047840018793636
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video surgery timelines are an important part of tool-assisted surgeries, as they allow surgeons to quickly focus on key parts of the procedure. Current methods involve the surgeon filling out a post-operation (OP) report, which is often vague, or manually annotating the surgical videos, which is highly time-consuming. Our proposed method sits between these two extremes: we aim to automatically create a surgical timeline and narrative directly from the surgical video. To achieve this, we employ a CLIP-based multi-modal framework that aligns surgical video frames with textual gesture descriptions. Specifically, we use the CLIP visual encoder to extract representations from surgical video frames and the text encoder to embed the corresponding gesture sentences into a shared embedding space. We then fine-tune the model to improve the alignment between video gestures and textual tokens. Once trained, the model predicts gestures and phases for video frames, enabling the construction of a structured surgical timeline. This approach leverages pretrained multi-modal representations to bridge visual gestures and textual narratives, reducing the need for manual video review and annotation by surgeons.
• Abstract（参考訳）: ビデオ手術のタイムラインは、外科医が手術の重要な部分に集中できるため、ツール補助手術の重要な部分である。 現在の方法では、手術後報告(OP)を記入するが、これは曖昧な場合が多い。 提案手法は,手術ビデオから直接,手術スケジュールと物語を自動生成することを目的としている。 これを実現するために,手術用ビデオフレームとテキストジェスチャー記述を整列するCLIPベースのマルチモーダルフレームワークを用いる。 具体的には、CLIPビジュアルエンコーダを用いて、手術用ビデオフレームとテキストエンコーダから表現を抽出し、対応するジェスチャー文を共有埋め込み空間に埋め込む。 次に、ビデオジェスチャとテキストトークンのアライメントを改善するために、モデルを微調整する。 トレーニングが完了すると、ビデオフレームのジェスチャーとフェーズを予測し、構造化された手術タイムラインの構築を可能にする。 このアプローチは、事前訓練されたマルチモーダル表現を活用して、視覚的なジェスチャーやテキストによる物語をブリッジし、外科医による手動ビデオレビューやアノテーションの必要性を減らす。

関連論文リスト

• SurgNarrator: A Generative Retrieval Framework for Surgical Video Understanding [35.05885138023876]
  本稿では,外科的ビデオ理解に適した新しい生成検索フレームワークであるSurgNarratorを提案する。 臨床的に意味のある検索空間を定義するために,外科的接頭辞から手術中心の語彙を高度に構築する。 推論中、階層的で手続き対応の検索戦略は、検索空間を関連するプロシージャタイプに絞り込み、高速で効果的な応答を提供する。
  論文  参考訳（メタデータ） (2026-08-05T10:39:19Z)
• CliPPER: Contextual Video-Language Pretraining on Long-form Intraoperative Surgical Procedures for Event Recognition [46.36937077851682]
  CliPPERは、外科的講義ビデオで訓練されたビデオ言語事前学習フレームワークである。 本手法は,微細な時間的ビデオテキスト認識のために設計されている。 我々のモデルは、複数の公開外科的ベンチマークにまたがる新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2026-03-25T17:14:36Z)
• Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion [54.359489807885616]
  SurgRefは、自由形式の言語表現を楽器の動きに基礎を置くモーションガイドフレームワークである。 SurgRefをトレーニングし,評価するために,高密度時間マスクとリッチモーション表現を備えた多機能ビデオデータセットRef-IMotionを提案する。
  論文  参考訳（メタデータ） (2026-01-18T02:14:08Z)
• SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding [75.00667948967848]
  SurgLLMフレームワークは、多用途の手術ビデオ理解タスクに適した、大規模なマルチモーダルモデルである。 外科的ビデオの空間的焦点を高めるために,SurgLLMの動画エンコーダのためのSurg-Pretraining(Surg-Pretraining)を最初に考案した。 外科的時間的知識をSurgLLMに組み込むため, インターリーブ型マルチモーダル埋め込みによる時間的推論を改善するために, 時間的対応型マルチモーダルチューニング(TM-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-08-30T04:36:41Z)
• Enhancing Surgical Documentation through Multimodal Visual-Temporal Transformers and Generative AI [15.513949299806582]
  外科的ビデオの自動要約は, 手続き的文書の充実, 外科的訓練の支援, 術後分析の促進に不可欠である。 本稿では,コンピュータビジョンと大規模言語モデルの最近の進歩を活用して,包括的な映像要約を生成するマルチモーダルフレームワークを提案する。 また,50個の腹腔鏡画像からの計測とアクションアノテーションを用いて,ColecT50データセットを用いて本手法の評価を行った。
  論文  参考訳（メタデータ） (2025-04-28T15:46:02Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。