論文の概要: SurgSkill-Bench: A Benchmark for Multimodal Surgical Skill Assessment
- arxiv url: http://arxiv.org/abs/2608.30872v1
- Date: Mon, 31 Aug 2026 14:32:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.446723
- Title: SurgSkill-Bench: A Benchmark for Multimodal Surgical Skill Assessment
- Title（参考訳）: SurgSkill-Bench: マルチモーダル手術スキル評価のためのベンチマーク
- Abstract要約: SurgSkill-Benchは、214の手術訓練シミュレーションビデオ、6次元OSATSスコア、専門家のフリーテキストコメントを含む、ビデオスコアテキストのベンチマークスタイルの最初のデータセットである。
我々は,代表的凍結視覚バックボーン,コンテンツ適応型キーフレームサンプリング,およびビデオテキストのコアテンション融合モジュールを用いた制御ベースライン実験を行った。
- 参考スコア（独自算出の注目度）: 7.206669492007226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Objective assessment of surgical technical skill is important for surgical training and structured feedback, but current workflows remain dependent on labor-intensive expert review. Existing automated approaches primarily focus on visual inputs and provide limited support for jointly studying operative performance, structured skill scores, and evaluator feedback. We introduce SurgSkill-Bench, an initial video-score-text benchmark-style dataset containing 214 surgical training simulation videos, six-dimensional OSATS scores, and expert free-text comments. We define two evaluation settings: video-only OSATS prediction for automated assessment and post hoc expert-comment-assisted prediction, where evaluator comments are available as auxiliary information. We provide controlled baseline experiments using representative frozen visual backbones, content-adaptive key-frame sampling, and a simple video-text co-attention fusion module. Under internal video-level validation, content-adaptive sampling improves video-only performance in this dataset, while evaluator comments provide additional score-related signal in the assisted setting. The best mean AUROC reaches 0.88 under dataset-specific median dichotomization. We further discuss evaluation constraints related to dataset scale, metadata completeness, and the interpretation of comment-assisted prediction. Code will be released publicly at a later date.
- Abstract（参考訳）: 外科的技術的スキルの客観的評価は、外科的トレーニングや構造化されたフィードバックにとって重要であるが、現在のワークフローは労働集約的な専門家レビューに依存している。
既存の自動化アプローチは主に視覚入力に重点を置いており、協調的な作業成績、構造化されたスキルスコア、評価者フィードバックの限定的なサポートを提供する。
SurgSkill-Benchは,214の手術訓練シミュレーションビデオ,6次元OSATSスコア,専門家によるフリーテキストコメントを含む,ビデオスコアテキスト型ベンチマーク形式の最初のデータセットである。
我々は、自動評価のためのビデオオンリーOSATS予測と、評価者コメントを補助情報として利用できるポストホック専門家支援予測の2つの評価設定を定義した。
我々は,代表的凍結視覚バックボーン,コンテンツ適応型キーフレームサンプリング,およびビデオテキストのコアテンション融合モジュールを用いた制御ベースライン実験を行った。
内部ビデオレベルの検証では、コンテンツ適応サンプリングにより、このデータセットにおけるビデオのみのパフォーマンスが向上する一方、評価者コメントは、アシストされた設定に追加のスコア関連信号を提供する。
AUROCの最高値はデータセット固有の中央値の2コトミゼーションで0.88に達する。
さらに,データセットのスケール,メタデータの完全性,コメント支援予測の解釈に関する評価制約についても論じる。
コードは後日公開される予定だ。
関連論文リスト
- A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback [52.053200111780626]
手術室の外科医が行う言語的フィードバックは、居住スキル獲得において重要な形式的役割を担っている。
本稿では,手術訓練の文脈に根ざした,解釈可能なフィードバック品質基準を発見するための2段階のLCMベースのフレームワークを提案する。
本手法では,多エージェントおよび外科領域の知識注入を用いて,人間の解釈可能な評価基準の小さなセットを探索する。
論文 参考訳（メタデータ） (2026-05-25T05:31:44Z) - Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。
内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
論文 参考訳（メタデータ） (2026-03-31T16:31:25Z) - Understanding Virality: A Rubric based Vision-Language Model Framework for Short-Form Edutainment Evaluation [8.15791379444665]
VideoScore-2は、特定のオーディオヴィジュアル属性が実際の観客のエンゲージメントに与える影響を捉えていない。
本稿では、視覚言語モデル(VLM)を用いて教師なしの視覚的特徴を抽出するデータ駆動評価フレームワークを提案する。
我々のアプローチは、堅牢で説明可能なビデオ理解へと進む。
論文 参考訳（メタデータ） (2025-12-24T19:43:59Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - Comment Staytime Prediction with LLM-enhanced Comment Understanding [15.090380492596754]
ユーザーエンゲージメントの鍵となる要素は、ユーザーがコメントを閲覧して投稿する時間を指す、滞在時間である。
既存の監視時間予測手法は、個々のコメントとのインタラクションを見渡すことで、滞在時間予測に適応するのに苦労する。
コメント理解(LCU)を用いたコメント滞在予測のための実践的枠組みを提案する。
論文 参考訳（メタデータ） (2025-04-02T11:09:18Z) - MESIA: Understanding and Leveraging Supplementary Nature of Method-level Comments for Automatic Comment Generation [9.136263657599006]
コードコメントが提供する補足情報の範囲を評価するため,MESIA(Mean Supplementary Information Amount)という新しい指標を提案する。
MESIA測定値を用いて、一般的なコード圧縮データセットと3種類のニューラルアプローチを用いて、メソッドレベルのコメントを生成する実験を行う。
論文 参考訳（メタデータ） (2024-03-26T03:44:51Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - Podcast Summary Assessment: A Resource for Evaluating Summary Assessment
Methods [42.08097583183816]
本稿では,新たなデータセット,ポッドキャスト要約評価コーパスについて述べる。
このデータセットには、2つのユニークな側面がある: (i)ロングインプット、音声ポッドキャストベース、文書; (ii)ポッドキャストコーパスにおける不適切な参照要約を検出する機会。
論文 参考訳（メタデータ） (2022-08-28T18:24:41Z) - Unsupervised Video Summarization via Multi-source Features [4.387757291346397]
ビデオ要約は、オリジナルビデオの本質を伝達するコンパクトだが代表的な視覚的要約を生成することを目的としている。
本稿では,複数の特徴源をチャンクとストライド融合で組み込むことにより,視覚的コンテンツについてより詳細な情報を提供する。
また,TVSumとSumMeの2つのベンチマークを総合的に評価するために,本手法を4つの最先端手法と比較した。
論文 参考訳（メタデータ） (2021-05-26T13:12:46Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳（メタデータ） (2020-10-13T21:33:24Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳（メタデータ） (2020-04-20T13:26:45Z) - ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine
Reading Comprehension [53.037401638264235]
我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。
評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
論文 参考訳（メタデータ） (2019-12-29T07:27:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。