論文の概要: HyperVLP: Enhancing Hierarchical Surgical Video-Language Pre-training in Hyperbolic Space
- arxiv url: http://arxiv.org/abs/2606.31245v1
- Date: Tue, 30 Jun 2026 07:21:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.112888
- Title: HyperVLP: Enhancing Hierarchical Surgical Video-Language Pre-training in Hyperbolic Space
- Title(参考訳): HyperVLP:ハイパーボリック空間における階層型手術ビデオランゲージ事前トレーニングの強化
- Abstract要約: 階層構造を明示的に保存するハイパーボリックな手術用ビデオ言語事前学習フレームワークを提案する。
複数の手術用ベンチマークの実験は、ゼロショットと少数ショットの位相認識において一貫した利得を示す。
- 参考スコア(独自算出の注目度): 50.603248889968306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Surgical vision-language foundation models typically adopt educational materials, such as surgical lecture videos, to transfer surgical knowledge encoded in language into visual representations. These knowledge are multi-dimensional and hierarchical: fine-grained action cues appear in narration, mid-level key steps are summarized in subsection headings, and global procedural context, such as patient history and surgical strategy, is described in abstract texts. Prior work largely collapses these heterogeneous signals into a single flat embedding space, implicitly assuming independence across hierarchy levels. However, this is suboptimal because it ignores cross-level semantic containment, e.g., actions belong to steps, steps compose phases, weakens long-range dependency modeling. To this end, we propose a hyperbolic surgical video-language pre-training framework that explicitly preserves the hierarchical structure by mitigating structural false negatives induced by procedural context and enforcing semantic consistency between parent phases and their constituent child steps. Extensive experiments on multiple surgical benchmarks show consistent gains in zero- and few-shot phase recognition across procedures and institutions.
- Abstract(参考訳): 外科的視覚言語基礎モデルは典型的には、外科的講義ビデオのような教育材料を用いて、言語で符号化された外科的知識を視覚的表現に伝達する。
これらの知識は多次元的かつ階層的であり、粒度の細かいアクションキューはナレーションに現れ、中段階のキーステップはセクションの先頭にまとめられ、患者の歴史や手術戦略といったグローバルな手続き的文脈は抽象テキストに記述されている。
以前の研究は、これらの不均一な信号を単一の平らな埋め込み空間に分解し、階層レベルの独立性を暗黙的に仮定していた。
しかしこれは、ステップに属するアクション、フェーズを構成するステップ、長距離依存性モデリングの弱さなど、クロスレベルなセマンティック包摂性を無視しているため、亜最適である。
そこで本稿では, 手続き的文脈によって引き起こされる構造的偽陰性を緩和し, 親相とその構成子ステップ間の意味的整合性を高めることによって, 階層構造を明示的に保存するハイパーボリックな手術用ビデオ言語事前学習フレームワークを提案する。
複数の外科的ベンチマークに対する大規模な実験は、手順や機関間でゼロショットと少数ショットの位相認識において一貫した利得を示す。
関連論文リスト
- HTT-Net: Hierarchical Text-guided Transition Modeling for Surgical Video Phase Recognition [22.19338002382572]
手術ビデオ位相認識のための階層型テキスト誘導遷移モデリングネットワークであるHTT-Netを提案する。
鍵となるアイデアは、フェーズアウェアなセグメント構築とセマンティックリファインメントに構造化された外科的意味知識を導入することである。
Cholec80 と LCRS-100 の実験により,HTT-Net の有効性が示された。
論文 参考訳(メタデータ) (2026-07-18T11:49:40Z) - Multi-Level Narrative Evaluation Outperforms Lexical Features for Mental Health [23.379143894811566]
治療用筆記法への計算的アプローチは、語彙的数え上げから神経的手法へと進化してきたが、まだ断片化されている。
既存のフレームワークはこれらのテクニックを、物語が構築される階層的なプロセスにマッピングしていない。
この枠組みは、マクロ構造組織を臨床信号の一次軌跡として同定する。
論文 参考訳(メタデータ) (2026-04-30T13:31:56Z) - Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning [56.6025512458557]
動き言語検索は、自然言語と人間の動きの間の意味的ギャップを埋めることを目的としている。
既存のアプローチは主に、全動作シーケンスとグローバルテキスト表現の整合性に重点を置いている。
本研究では,微粒な動き言語検索のためのPST学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T16:00:12Z) - Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion [54.359489807885616]
SurgRefは、自由形式の言語表現を楽器の動きに基礎を置くモーションガイドフレームワークである。
SurgRefをトレーニングし,評価するために,高密度時間マスクとリッチモーション表現を備えた多機能ビデオデータセットRef-IMotionを提案する。
論文 参考訳(メタデータ) (2026-01-18T02:14:08Z) - SurgLaVi: Large-Scale Hierarchical Dataset for Surgical Vision-Language Representation Learning [41.95743276961411]
これまでで最大かつ最も多様な手術用視覚言語データセットであるSurgLaViについて紹介する。
SurgLaViのコアには、完全に自動化されたパイプラインがあり、手術ビデオのきめ細かい書き起こしを生成し、それらをコヒーレントな手続き単位に分割する。
アクセシビリティを確保するため、公開データから構築された113kクリップカプセル対のオープンソースデリバティブであるSurgLaVi-betaをリリースする。
論文 参考訳(メタデータ) (2025-09-09T21:21:10Z) - OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。
OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。
我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
論文 参考訳(メタデータ) (2024-11-23T02:53:08Z) - Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。
本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-30T22:21:05Z) - HecVL: Hierarchical Video-Language Pretraining for Zero-shot Surgical Phase Recognition [51.222684687924215]
HecVLは、一般的な手術モデルを構築するための新しい階層型ビデオ言語事前学習手法である。
異なる階層レベルの埋め込み空間を分離することにより、学習されたマルチモーダル表現は、同じモデルにおける短期的および長期的な外科的概念を符号化する。
外科的位相認識のための同じHecVLモデルが、異なる外科手術と医療センター間で転送可能であることを示す。
論文 参考訳(メタデータ) (2024-05-16T13:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。