論文の概要: SurgTransfer: Multi-Step Latent Action Modeling for Action Transfer in Surgical World Model
- arxiv url: http://arxiv.org/abs/2611.05443v1
- Date: Tue, 03 Nov 2026 15:59:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.807963
- Title: SurgTransfer: Multi-Step Latent Action Modeling for Action Transfer in Surgical World Model
- Title(参考訳): SurgTransfer:多段階遅発性行動モデルによる外科的世界モデルにおける行動伝達
- Abstract要約: 手術の世界モデルは、術中指導を提供し、リスクのない訓練を加速し、専門的な外科手術の移動を促進する可能性がある。
そこで本稿では,さまざまな外科的文脈で容易に移動可能な,文脈不変の潜伏動作を学習するための,新しい多段階動作学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.164249080018952
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Surgical world models have the potential to provide intra-operative guidance, accelerate risk-free training and facilitate transfer of expert surgical maneuvers. However, the use of world models for transferring surgical expertise has been largely unexplored. Moreover, recent approaches in this domain have mainly relied on ground truth kinematics actions or expert annotations for specific tasks, limiting their applicability beyond the narrow range of tasks with ground-truth annotations. In contrast, existing works in the natural domain have shown promising results in learning latent actions solely from unlabeled videos and transferring the learned actions across contexts. We observe that this paradigm is short-sighted for the surgical domain, failing to capture the hierarchical and goal-directed structure of surgical procedures. Thus, we propose a novel multi-step action learning framework to learn context-invariant latent actions that are easily transferable across various surgical contexts. We perform extensive experiments on the publicly available datasets, SurgToolLoc-2022 and PitVis-2023, verifying our approach with both quantitative metrics and qualitative evaluation by surgical experts. We have published our code and the implementation details at https://github.com/bhattarailab/Surgical-Vision-World-Model.
- Abstract(参考訳): 手術の世界モデルは、術中指導を提供し、リスクのない訓練を加速し、専門的な外科手術の移動を促進する可能性がある。
しかし、外科的専門知識の伝達に世界モデルを使用することは、ほとんど探索されていない。
さらに、この領域における近年のアプローチは、基本真理キネマティクスのアクションや特定のタスクに対する専門家アノテーションに大きく依存しており、その適用性は、基本真理アノテーションによる狭いタスクの範囲を超えて制限されている。
対照的に、自然界の既存の研究は、ラベルのないビデオからのみ潜伏アクションを学習し、学習されたアクションをコンテキスト間で伝達する、有望な結果を示している。
我々は,このパラダイムが外科領域の短視であり,外科手術の階層的および目標指向構造を捉えていないことを観察した。
そこで本研究では,さまざまな外科的コンテキスト間で容易に移動可能な,文脈不変の潜伏動作を学習するための,新しい多段階動作学習フレームワークを提案する。
我々は、公開データセットであるSurgToolLoc-2022とPitVis-2023について広範な実験を行い、手術専門家による定量的測定と定性評価の両方を用いてアプローチを検証する。
コードと実装の詳細はhttps://github.com/bhattarailab/Surgical-Vision-World-Model.comで公開しています。
関連論文リスト
- A generalizable foundation model for intraoperative understanding across surgical procedures [1.0412442875956527]
術中画像理解のための汎用基盤モデルであるZENを導入し,21以上の術式から400万フレーム以上をトレーニングした。
ZENは、既存の外科的基礎モデルより一貫して優れており、堅牢な多目的一般化を実証している。
論文 参考訳(メタデータ) (2026-02-14T06:52:42Z) - MoE-ACT: Improving Surgical Imitation Learning Policies through Supervised Mixture-of-Experts [1.6646268910871171]
位相構造型外科手術作業のための教師付きMixture-of-Expertsアーキテクチャを提案する。
本稿では,150件未満のデモから,軽量なアクションデコーダポリシを用いて,複雑で長期にわたる操作を学習可能であることを示す。
豚のin vivo手術におけるポリシーロールアウトの予備的結果について報告する。
論文 参考訳(メタデータ) (2026-01-29T16:50:14Z) - EndoARSS: Adapting Spatially-Aware Foundation Model for Efficient Activity Recognition and Semantic Segmentation in Endoscopic Surgery [11.286605039002419]
内視鏡手術は、ロボットによる最小侵襲手術のための金の標準である。
従来のディープラーニングモデルは、しばしばクロスアクティビティな干渉に悩まされ、下流の各タスクで最適以下のパフォーマンスをもたらす。
本研究では,内視鏡下手術活動認識とセマンティックセグメンテーションに特化して設計された,新しいマルチタスク学習フレームワークであるEndoARSSを提案する。
論文 参考訳(メタデータ) (2025-06-07T15:18:43Z) - Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
低侵襲手術(MIS)におけるリアルタイム映像理解の重要性
手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。
C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2025-05-16T14:02:24Z) - SurgXBench: Explainable Vision-Language Model Benchmark for Surgery [4.068223793121694]
VLM(Vision-Language Models)は、視覚とテキストのモダリティを横断する推論において、革新的な進歩をもたらした。
既存のモデルはパフォーマンスが限られており、その能力と限界を評価するためのベンチマーク研究の必要性を強調している。
ロボット支援型腹腔鏡による機器分類と動作分類のための2つのデータセットに対して,いくつかの先進VLMのゼロショット性能をベンチマークした。
論文 参考訳(メタデータ) (2025-05-16T00:42:18Z) - LLM-Assisted Multi-Teacher Continual Learning for Visual Question Answering in Robotic Surgery [57.358568111574314]
患者のデータのプライバシは、モデル更新時に古いデータの可用性を制限することが多い。
CL研究は外科領域で2つの重要な問題を見落としていた。
本稿では,多モーダル大規模言語モデル (LLM) と適応重み付け手法を用いて,これらの問題に対処することを提案する。
論文 参考訳(メタデータ) (2024-02-26T15:35:24Z) - Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。
これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。
本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
論文 参考訳(メタデータ) (2023-07-27T22:38:12Z) - Quantification of Robotic Surgeries with Vision-Based Deep Learning [45.165919577877695]
本稿では,手術中に録画されたビデオのみを対象とする統合型ディープラーニングフレームワークRoboformerを提案する。
我々は,ミニマル侵襲型ロボット手術において,一般的な2種類のステップの4つのビデオベースデータセットに対して,我々の枠組みを検証した。
論文 参考訳(メタデータ) (2022-05-06T06:08:35Z) - CholecTriplet2021: A benchmark challenge for surgical action triplet
recognition [66.51610049869393]
腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。
課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。
4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
論文 参考訳(メタデータ) (2022-04-10T18:51:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。