論文の概要: Zero-shot Prompt-based Video Encoder for Surgical Gesture Recognition

• arxiv url: http://arxiv.org/abs/2403.19786v2
• Date: Wed, 21 Aug 2024 19:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 19:25:36.553472
• Title: Zero-shot Prompt-based Video Encoder for Surgical Gesture Recognition
• Title（参考訳）: ゼロショットプロンプトによるジェスチャー認識のためのビデオエンコーダ
• Authors: Mingxing Rao, Yinhong Qin, Soheil Kolouri, Jie Ying Wu, Daniel Moyer,
• Abstract要約: 手術ビデオにおけるジェスチャー認識のための訓練済み視覚テキストモデル(CLIP)を開発した。 これはテキストなどの広範囲な外部ビデオデータを利用することができるが、ラベルメタデータも利用でき、コントラスト的損失を弱めている。 実験の結果,プロンプトベースのビデオエンコーダは,外科的ジェスチャー認識タスクにおいて,標準的なエンコーダよりも優れていた。
• 参考スコア（独自算出の注目度）: 9.426097444566704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose: In order to produce a surgical gesture recognition system that can support a wide variety of procedures, either a very large annotated dataset must be acquired, or fitted models must generalize to new labels (so called "zero-shot" capability). In this paper we investigate the feasibility of latter option. Methods: Leveraging the Bridge-Prompt framework, we prompt-tune a pre-trained vision-text model (CLIP) for gesture recognition in surgical videos. This can utilize extensive outside video data such as text, but also make use of label meta-data and weakly supervised contrastive losses. Results: Our experiments show that prompt-based video encoder outperforms standard encoders in surgical gesture recognition tasks. Notably, it displays strong performance in zero-shot scenarios, where gestures/tasks that were not provided during the encoder training phase are included in the prediction phase. Additionally, we measure the benefit of inclusion text descriptions in the feature extractor training schema. Conclusion Bridge-Prompt and similar pre-trained+prompt-tuned video encoder models present significant visual representation for surgical robotics, especially in gesture recognition tasks. Given the diverse range of surgical tasks (gestures), the ability of these models to zero-shot transfer without the need for any task (gesture) specific retraining makes them invaluable.
• Abstract（参考訳）: 目的:多種多様な手順を支援できる外科的ジェスチャー認識システムを作成するためには、非常に大きな注釈付きデータセットを取得するか、新しいラベルに適合したモデルを一般化する必要がある(いわゆる「ゼロショット」能力)。 本稿では,後者の選択肢の実現可能性について検討する。 方法:Bridge-Promptフレームワークを応用し,手術ビデオにおけるジェスチャー認識のための訓練済み視覚テキストモデル(CLIP)を即時チューニングする。 これはテキストなどの広範囲な外部ビデオデータを利用することができるが、ラベルメタデータも利用でき、コントラスト的損失を弱めている。 結果: プロンプトベースビデオエンコーダは, 外科的ジェスチャー認識タスクにおいて, 標準的なエンコーダよりも優れていた。 特に、ゼロショットのシナリオでは、エンコーダのトレーニングフェーズで提供されなかったジェスチャー/タスクが予測フェーズに含まれる。 さらに,特徴抽出学習スキーマにテキスト記述を含めることの利点を計測する。 Conclusion Bridge-Promptと類似のトレーニング済み+promptチューニングビデオエンコーダモデルは、特にジェスチャー認識タスクにおいて、外科ロボティクスにおいて重要な視覚的表現を示す。 多様な外科的タスク(妊娠)を考慮に入れれば、これらのモデルが特定の作業(妊娠)の訓練を必要とせずにゼロショット転送を行う能力は、これらのモデルに有益である。

関連論文リスト

• An Evaluation of Large Pre-Trained Models for Gesture Recognition using Synthetic Videos [32.257816070522885]
  本研究では,大規模な事前学習モデルを用いた映像に基づくジェスチャー認識における合成データの利用の可能性を検討する。 我々は,k-nearest近辺分類に使用する特徴を抽出するために,最先端のビデオエンコーダを用いている。 その結果, 実検動画の分類精度は, 比較的少数の実検動画に比べて有意に低いことがわかった。
  論文  参考訳（メタデータ） (2024-10-03T02:31:14Z)
• Weakly-Supervised Surgical Phase Recognition [19.27227976291303]
  本研究では,グラフ分割の概念と自己教師付き学習を結合して,フレーム単位の位相予測のためのランダムウォーク解を導出する。 腹腔鏡下胆嚢摘出術ビデオのColec80データセットを用いて実験を行い,本法の有効性を確認した。
  論文  参考訳（メタデータ） (2023-10-26T07:54:47Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [51.78027546947034]
  外科的コンピュータビジョンの最近の進歩は、言語意味論に欠ける視覚のみのモデルによって推進されている。 本稿では,eラーニングプラットフォームからの手術ビデオ講義を活用し,効果的な視覚情報と言語監督信号を提供する。 テキスト書き起こしのための複数自動音声認識システムを用いて,手術固有の言語課題に対処する。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• A Study of Autoregressive Decoders for Multi-Tasking in Computer Vision [93.90545426665999]
  マルチモーダルコンピュータビジョンにおけるマルチタスク学習のための自動回帰デコーダについて詳しく検討する。 鍵となる発見は、凍結した事前訓練されたエンコーダの上で学んだ小さなデコーダが驚くほどうまく機能していることである。 これはデコーダに自然言語で事前訓練された視覚モデルと対話するように教えるものであると見なすことができる。
  論文  参考訳（メタデータ） (2023-03-30T13:42:58Z)
• DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training [73.74291217502928]
  ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。 軽量な視覚認識言語デコーダを提案する。 視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
  論文  参考訳（メタデータ） (2023-03-06T11:02:47Z)
• Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations [72.15956198507281]
  シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。 本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
  論文  参考訳（メタデータ） (2022-07-20T05:42:19Z)
• Bridge-Prompt: Towards Ordinal Action Understanding in Instructional Videos [92.18898962396042]
  本稿では,隣接するアクション間のセマンティクスをモデル化する,プロンプトベースのフレームワークであるBridge-Promptを提案する。 我々は個々のアクションラベルを、個々のアクションセマンティクスのギャップを埋める監視のための統合テキストプロンプトとして再構成する。 Br-Promptは複数のベンチマークで最先端を達成する。
  論文  参考訳（メタデータ） (2022-03-26T15:52:27Z)
• Prompting Visual-Language Models for Efficient Video Understanding [28.754997650215486]
  本稿では,事前学習した1つの視覚言語モデルを,最小限のトレーニングで新しいタスクに効果的に適応させる方法を提案する。 静的画像とビデオのギャップを埋めるために、フレームワイドの視覚的特徴の上に軽量なトランスフォーマーを積み重ねたテンポラリな情報をエンコードする。
  論文  参考訳（メタデータ） (2021-12-08T18:58:16Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Recurrent and Spiking Modeling of Sparse Surgical Kinematics [0.8458020117487898]
  ますます多くの研究が、手術ロボットが捉えたビデオやキネマティックなデータを機械学習で分析している。 本研究では,同様のスキルレベルの外科医を予測するために,キネマティックデータのみを用いることの可能性を検討する。 本報告では, 運動特性のみに基づいて, シミュレーションエクササイズにおいて, ほぼ完全スコアの手術者を特定することが可能である。
  論文  参考訳（メタデータ） (2020-05-12T15:41:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。