論文の概要: On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos
- arxiv url: http://arxiv.org/abs/2608.14262v1
- Date: Fri, 14 Aug 2026 12:37:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.381736
- Title: On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos
- Title（参考訳）: 術中内視鏡画像における時空間視線モデルのロバスト性について
- Abstract要約: 時間視覚言語モデル(TVLM)は、外科的ビデオ理解のための再利用可能な、即時ベースのインタフェースを提供する。
実際には、デフォーカス、ヘイズ、モーションブラー、ノイズ、因果煙、パケットロスなどの劣化は、ビデオテキストのアライメントを損なうような構造化された分散シフトをもたらす。
クリップフレームの破損による時間的VLMのロバスト性について検討した。
- 参考スコア（独自算出の注目度）: 37.80386779739967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal vision-language models (TVLMs) offer a reusable, prompt-based interface for surgical video understanding, yet, their robustness under clinically realistic acquisition artifacts in endoscopy remains insufficiently characterized. In practice, degradations such as defocus, haze, motion blur, noise, cautery smoke, and packet loss introduce structured distribution shifts which may compromise video-text alignment. We study the robustness of temporal VLMs under such shifts caused by corruptions in clip frames. We introduce Endo-C6, a compact corruption benchmark of six endoscopy-realistic perturbations evaluated at a fixed high severity, and apply it to public Gastrointestinal (GI) endoscopy and laparoscopic cholecystectomy videos. Under a standardized prompt protocol, we benchmark 3 recent surgical TVLM baselines and analyze robustness in both mean and worst-case settings, spanning 294 dataset-level evaluations. Finally, we present RobustEndoCLIP, obtained by few-shot parameter-efficient tuning with VeRA, outperforming existing TVLM baselines. Our findings show that off-the-shelf TVLMs can exhibit severe worst-case collapse under endoscopy-specific corruptions, whereas lightweight few-shot adaptation can substantially improve corrupted performance and robustness without changing the prompt-based interface. We expect Endo-C6 to support standardized robustness reporting and promote more reliable clinical vision-language systems.
- Abstract（参考訳）: 経時的視覚言語モデル (TVLM) は, 外科的ビデオ理解のための再利用可能な, 即時ベースのインタフェースを提供するが, 内視鏡における臨床的に現実的な取得アーティファクトの頑健さは, いまだに不十分である。
実際には、デフォーカス、ヘイズ、モーションブラー、ノイズ、因果煙、パケットロスなどの劣化は、ビデオテキストのアライメントを損なうような構造化された分散シフトをもたらす。
クリップフレームの破損による時間的VLMのロバスト性について検討した。
腹腔鏡下胆嚢摘出術を施行し,消化管内視鏡検査および腹腔鏡下胆嚢摘出術を施行した。
標準化されたプロンプトプロトコルの下では,最新の3つの手術用TVLMベースラインをベンチマークし,平均および最悪の設定におけるロバスト性を解析し,データセットレベルの評価を294回行った。
最後に,VeRAを用いた数ショットパラメータ効率チューニングにより得られたRobustEndoCLIPが,既存のTVLMベースラインより優れていることを示す。
以上の結果から,市販のTVLMは内視鏡的破損下では深刻な最悪の崩壊をみせるが,軽量な少数ショット適応は,プロンプトベースインタフェースを変更することなく,劣化性能と堅牢性を大幅に向上させることができることがわかった。
我々は,Endo-C6が標準化された堅牢性レポートをサポートし,より信頼性の高い臨床ビジョン言語システムを促進することを期待する。
関連論文リスト
- Hi-GaTA: Hierarchical Gated Temporal Aggregation Adapter for Surgical Video Report Generation [7.606404030331724]
手術報告生成のための知覚推論フレームワークを提案し, 軽量な時間適応型HiGa-TAを特徴とする。
実験により,提案手法は,MLLMベースラインよりも一貫したゲインを達成し,全体的な性能を向上することを示す。
論文 参考訳（メタデータ） (2026-05-11T20:21:34Z) - Divide-then-Diagnose: Weaving Clinician-Inspired Contexts for Ultra-Long Capsule Endoscopy Videos [83.01543151239254]
我々は、診断駆動型CEビデオ要約という新しいタスクを定義する。
VideoCAPは、診断駆動アノテーションを備えた最初のCEデータセットである。
DiCEはクリニックにインスパイアされたフレームワークで、標準的なCE読み込みワークフローを反映している。
論文 参考訳（メタデータ） (2026-04-23T16:07:51Z) - Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。
内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
論文 参考訳（メタデータ） (2026-03-31T16:31:25Z) - CoDA: Exploring Chain-of-Distribution Attacks and Post-Hoc Token-Space Repair for Medical Vision-Language Models [14.039516906417724]
本稿では, 買収型シェーディング, 再構築・表示リマッピング, 納品・輸出劣化による臨床応用可能なパイプラインシフトを構築するチェーン・オブ・ディストリビューション・フレームワークを提案する。
脳MRI,胸部X線,腹部CTでは,CLIP型MVLMのゼロショット性能が著しく低下する。
また,マルチモーダルな大規模言語モデル (MLLM) を,画像リアリズムと品質を診断する技術的オーディケータとして評価した。
論文 参考訳（メタデータ） (2026-03-19T07:00:44Z) - Patient4D: Temporally Consistent Patient Body Mesh Recovery from Monocular Operating Room Video [9.229366844390803]
患者4Dはステーションに拘束された再建パイプラインであり、以前の固定性を利用する。
患者4Dは0.75の平均IoUを達成し、最高のベースラインに比べて故障フレームを30.5%から1.3%に削減した。
本研究は, 臨床ARシナリオにおいて, 固定性前駆体を利用したモノクローナル再構築を著しく改善できることを示唆するものである。
論文 参考訳（メタデータ） (2026-03-17T22:10:55Z) - INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs [69.11382230669491]
ビデオ証拠(忠実さ)または検証可能な世界知識(事実性)のどちらかに矛盾する結果である幻覚
textscINFACTは、4つのモードでモデルを評価する。
14の代表的なビデオ-LLMの実験では、高ベースモード精度が誘導モードの信頼性に確実に変換されないことが明らかになった。
論文 参考訳（メタデータ） (2026-03-12T03:03:16Z) - MedVSR: Medical Video Super-Resolution with Cross State-Space Propagation [63.38824041721275]
低解像度(LR)医療ビデオは、ビデオ超解像度(VSR)モデルに固有の課題を提示する。
本稿では,医療用VSRのためのフレームワークであるMedVSRを提案する。
MedVSRは既存のVSRモデルよりも性能と効率が優れていることを示す。
論文 参考訳（メタデータ） (2025-09-25T14:56:59Z) - On the Robustness of Medical Vision-Language Models: Are they Truly Generalizable? [0.9626666671366837]
我々は、複数の医療画像データセットに複数の摂動を適用した汚職ベンチマークであるMediMeta-Cを紹介する。
本稿では,事前訓練されたMVLMの視覚的エンコーダ適応であるRobustMedCLIPを提案する。
論文 参考訳（メタデータ） (2025-05-21T12:08:31Z) - Revisiting the Evaluation Bias Introduced by Frame Sampling Strategies in Surgical Video Segmentation Using SAM2 [1.0536099636804035]
アノテーション密度とフレームレートサンプリングの不整合がゼロショットセグメンテーションモデルの評価に与える影響について検討する。
フレームレートの低下は,時間的不整合を隠蔽するスムーズな効果により,より高いフレームレートを達成できることがわかった。
リアルタイムストリーミング条件で評価すると、フレームレートが高いとセグメンテーション安定性が向上する。
論文 参考訳（メタデータ） (2025-02-28T10:42:09Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。