論文の概要: Beyond Masks and Trajectories: Flow-Guided Latent Action Injection for Stable Surgical Video Generation

• arxiv url: http://arxiv.org/abs/2610.09800v1
• Date: Wed, 07 Oct 2026 10:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.854054
• Title: Beyond Masks and Trajectories: Flow-Guided Latent Action Injection for Stable Surgical Video Generation
• Title（参考訳）: マスクと軌道を超える: 安定な手術用ビデオ生成のためのフローガイド型潜在アクションインジェクション
• Abstract要約: 本研究では,リファレンスフリーな手術用ビデオ生成のためのフロー誘導ラテントActionインジェクションフレームワークを提案する。 FLAIRは、実際の手術ビデオの光学的流れからアクション先行を学習し、入力プロンプトから対応する遅延アクション表現を動的に予測し、凍結ベースモデルに注入して、アクション整合性を改善した手術ビデオを生成する。 SurgActionClip-30Kは、アクション中心のセグメンテーションクリップと構造化キャプションラベルからなる、最初の大規模な手術用視覚データセットである。 最後に,SurgMetricsについて紹介する。SurgMetricsは,生成された外科的ビデオの品質を定量化するための,最初の外科的領域別評価指標である。
• 参考スコア（独自算出の注目度）: 30.53860396227553
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surgical video generation holds substantial potential for surgical education, simulation, and data augmentation, yet generating surgical videos with realistic and clinically plausible motion remains challenging. Most existing methods rely on auxiliary conditions, such as masks, trajectories, depth, or reference videos, to achieve visually plausible synthesis. Yet, these auxiliary conditions typically require additional manual annotation or specialized acquisition, making it difficult to scale such methods beyond small, curated datasets. This motivates the need for a reference-free architecture capable of generating high-quality surgical video without requiring auxiliary visual conditions at inference time. We propose FLAIR, a Flow-guided LatentAction Injection framework for Reference-free surgical video generation. FLAIR learns action priors from optical flow of real surgical videos, dynamically predicts corresponding latent action representation from an input prompt, and injects it into a frozen base model to generate surgical videos with improved action consistency. We further construct SurgActionClip-30K, the first large-scale surgical vision dataset comprising action-centric segmented clips and structured caption labels, addressing the persistent lack of fine-grained, action-centric surgical datasets. Lastly, we introduce SurgMetrics, the first surgical domain-specific evaluation metrics for quantifying the quality of generated surgical videos, addressing the persistent absence of clinically grounded evaluation standards in this domain. Extensive experiments demonstrate that FLAIR enables generating high-quality surgical videos using text-only inference without auxiliary conditions, and validation in SurgMetrics demonstrates its strength in alignment with human perception compared to traditional metrics.
• Abstract（参考訳）: 外科的ビデオ生成は, 外科的教育, シミュレーション, データ拡張の面で大きな可能性を秘めている。 既存のほとんどの方法は、視覚的に可視な合成を達成するために、マスク、軌道、深度、参照ビデオなどの補助的な条件に依存している。 しかし、これらの補助条件は、通常、追加のマニュアルアノテーションや特別な取得を必要とするため、小さなキュレートされたデータセットを超えて、そのようなメソッドをスケールすることは困難である。 これにより、推論時に補助的な視覚条件を必要とせず、高品質な手術映像を生成できる参照不要アーキテクチャの必要性が生じる。 本研究では,フロー誘導ラテント・アクション・インジェクション・フレームワークFLAIRを提案する。 FLAIRは、実際の手術ビデオの光学的流れからアクション先行を学習し、入力プロンプトから対応する遅延アクション表現を動的に予測し、凍結ベースモデルに注入して、アクション整合性を改善した手術ビデオを生成する。 SurgActionClip-30Kは、アクション中心のセグメンテーションクリップと構造化キャプションラベルからなる、最初の大規模な手術用視覚データセットである。 最後に,SurgMetricsについて紹介する。SurgMetricsは,生成した外科的ビデオの品質を定量化するための最初の外科的領域別評価指標であり,この領域における臨床基礎的評価基準の持続的欠如に対処するものである。 FLAIRは補助的な条件を伴わずにテキストのみの推論を用いて高品質な手術ビデオを生成することが可能であり、SurgMetricsの検証は従来の指標と比較して人間の知覚と一致した強度を示す。

関連論文リスト

• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• SAW: Toward a Surgical Action World Model via Controllable and Scalable Video Generation [13.94653131033701]
  リアルな外科的アクションビデオを生成することができる外科的世界モデルは、外科的AIとシミュレーションの根本的な課題に対処することができる。 現在のビデオ生成法は、推論時の条件付け信号として高価なアノテーションや複雑な構造化中間体を必要とする。 手術行動世界(SAW)は,4つの軽量信号を用いた映像拡散条件による手術行動モデリングに向けてのステップである。
  論文  参考訳（メタデータ） (2026-03-13T14:32:41Z)
• HieraSurg: Hierarchy-Aware Diffusion Model for Surgical Video Generation [44.37374628674769]
  2つの専門拡散モデルからなる階層型手術ビデオ生成フレームワークであるHieraSurgを提案する。 このモデルは、既存のセグメンテーションマップが提供される際に特にきめ細かい付着を示しており、実際的な外科的応用の可能性を示している。
  論文  参考訳（メタデータ） (2025-06-26T14:07:23Z)
• SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model [67.8359850515282]
  SurgVidLMは、完全かつきめ細かい外科的ビデオ理解に対処するために設計された最初のビデオ言語モデルである。 我々は,SurgVidLMが,映像理解タスクと細粒度ビデオ理解タスクの両方において,同等のパラメータスケールの最先端のVid-LLMを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-06-22T02:16:18Z)
• Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
  低侵襲手術(MIS)におけるリアルタイム映像理解の重要性 手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。 C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-16T14:02:24Z)
• SurgSora: Object-Aware Diffusion Model for Controllable Surgical Video Generation [25.963369099780113]
  SurgSoraは、単一の入力フレームとユーザが指定したモーションキューから、高忠実でモーションコントロール可能な手術用ビデオを生成するフレームワークである。 SurgSoraは、これらのリッチな機能を安定ビデオ拡散に組み込むことで、最先端の視覚的信頼性と制御性を達成する。
  論文  参考訳（メタデータ） (2024-12-18T16:34:51Z)
• VISAGE: Video Synthesis using Action Graphs for Surgery [34.21344214645662]
  腹腔鏡下手術における映像生成の新しい課題について紹介する。 提案手法であるVISAGEは,アクションシーングラフのパワーを利用して,腹腔鏡下手術のシーケンシャルな特徴を捉える。 腹腔鏡下手術における高忠実度ビデオ生成について検討した。
  論文  参考訳（メタデータ） (2024-10-23T10:28:17Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。