論文の概要: An Integrated Video-AI Platform for Action-Level Microanastomosis Training and Performance Feedback
- arxiv url: http://arxiv.org/abs/2609.06380v1
- Date: Sun, 06 Sep 2026 04:36:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:51:36.992494
- Title: An Integrated Video-AI Platform for Action-Level Microanastomosis Training and Performance Feedback
- Title（参考訳）: アクションレベルマイクロアナコシストレーニングとパフォーマンスフィードバックのための統合型ビデオAIプラットフォーム
- Abstract要約: 我々は,完全なシミュレートされたプロシージャを検査可能なインタラクティブなフィードバックに変換する統合ビデオAIプラットフォームを提案する。
物体検出と追跡は、各アクションドライブ内の機器の先端をローカライズし、5つのNOMAT対応性能次元の分類を監督する。
基盤となる大規模言語モデル(LLM)は、これらの構造化された出力を使用して、現在のシーン、アクション、動作、予測パフォーマンスに関するユーザの質問に答える。
- 参考スコア（独自算出の注目度）: 6.042824968661832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing microanastomosis skill requires repeated practice with timely, action-specific feedback, yet expert review of lengthy microscope videos does not scale to frequent or distributed training. We present an integrated video-AI platform that turns a complete simulated procedure into inspectable, interactive feedback through three connected modules. First, a proposed transformer segments the video into six surgical actions. Second, object detection and tracking localize instrument tips within each action; the resulting kinematic features and action statistics drive supervised classification of five NOMAT-aligned performance dimensions. Third, a grounded large language model (LLM) uses these structured outputs to answer user questions about the current scene, actions, motion, and predicted performance through a unified interface. In a two-site study, 17 participants completed 72 procedures comprising 576 suture placements. The action-segmentation module achieved 87.66\% accuracy and 82.86\% F1, increasing to 93.62\% and 88.32\% after workflow-aware refinement. The five performance classifiers achieved 76.0\% mean accuracy, with Cohen's $κ$ from 0.63 to 0.93. Although the language interface and educational benefit require prospective evaluation, these results establish the technical basis for an expert-supervised platform that can shorten review, expose the evidence behind performance estimates, and support scalable formative microsurgical training.
- Abstract（参考訳）: マイクロアナコシススキルの開発には、タイムリーでアクション固有のフィードバックを伴う反復的な練習が必要であるが、長い顕微鏡ビデオのエキスパートレビューは、頻繁なトレーニングや分散トレーニングにはスケールしない。
3つの接続されたモジュールを通して、完全なシミュレートされたプロシージャを検査可能でインタラクティブなフィードバックに変換する統合ビデオAIプラットフォームを提案する。
まず、提案されたトランスフォーマーは、ビデオを6つの手術行動に分割する。
第二に、物体の検出と追跡は、各アクション内の機器の先端をローカライズする; 結果として生じる運動特性とアクション統計は、5つのNOMAT対応のパフォーマンス次元の教師付き分類を駆動する。
第三に、接地型大規模言語モデル(LLM)は、これらの構造化された出力を使用して、現在のシーン、アクション、動作、予測パフォーマンスに関するユーザの質問に答える。
17名の被験者が576個の縫合縫合物を含む72の手順を完了した。
アクションセグメンテーションモジュールは87.66\%の精度と82.86\%のF1を達成し、ワークフロー認識の改良後に93.62\%と88.32\%に増加した。
5つの性能分類器の平均精度は76.0\%となり、コーエンのκ$は0.63から0.93となった。
言語インターフェースと教育的利益は予測的評価を必要とするが、これらの結果は専門家が監督するプラットフォームの技術基盤を確立し、レビューを短くし、性能評価の裏にある証拠を明らかにし、スケーラブルなフォーマッシブなマイクロサージカルトレーニングをサポートする。
関連論文リスト
- GIFT: Guided Intermediate Feature Training via Action-Oriented Structural Supervision for Robotic Manipulation [60.95802802905149]
GIFT(Guided Intermediate Feature Training)は,中間機能学習のためのアーキテクチャフレキシブルなフレームワークである。
我々は、各モデルのアクション定式化を維持しつつ、ビジョンランゲージ・アクション(VLA)ポリシー、ダイレクトアクション・ワールド・アクション・モデル(WAM)、逆ダイナミクスWAMでGIFTをインスタンス化する。
RoboCasaでは3つのGIFTバージョンが61.4%、83.6%、82.3%に達し、それぞれ12.6、9.0、8.4ポイントを上回っている。
論文 参考訳（メタデータ） (2026-09-03T17:59:03Z) - Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent [81.19460113054048]
Video-DRは、ステージワイドツールアンロックを備えた分離された知覚時間パイプラインを備えている。
当社のフレームワークでは,教師付き微調整とグループ相対ポリシー最適化という2段階のトレーニングレシピを採用しています。
実験の結果,ビデオ検索DeepB-A3Bでは64.0%の精度で新たな最先端技術が確立された。
論文 参考訳（メタデータ） (2026-08-04T17:45:16Z) - SkillSpotter: Pose-Aware Multi-View Skilled Action Detection and Grading in Ego-Exo Videos [27.95264551649598]
SkillSpotterは3つのタスク固有のモジュールを通じて、熟練したアクションを共同で検出し、評価する、ポーズ対応のマルチビューアーキテクチャである。
SkillSpotterはクラス固有のmAPを12.40から21.82(+76%)に改善し、最高のベースラインよりも55.99%から60.40%の精度で調整する。
論文 参考訳（メタデータ） (2026-06-30T04:43:03Z) - An Interpretable Closed-Loop Intelligent Tutoring System for Multimodal Affective Feedback in Asynchronous Presentation Training [0.0]
ITSはマルチモーダル入力をエビデンスベースのフィードバックにマッピングし、観測可能なパフォーマンスキューに遡ることができる。
このシステムは、専門家のレーティングに匹敵するパフォーマンスレベルでルーリック整合スコアを達成した。
論文 参考訳（メタデータ） (2026-05-17T14:12:40Z) - Video-Based Reward Modeling for Computer-Use Agents [40.27314571412647]
本研究では,エージェントの内部的推論や行動に依存しないエージェント軌道からのシーケンスのシーケンスを,実行ビデオから得られる報酬モデリングについて検討する。
本稿では,53kの高品質ビデオ・タスク・リワード・トリプルのデータセットであるExecution Video Reward 53k(ExeVR-53k)を紹介する。
これらのコンポーネント上に構築したExecution Video Model (ExeVRM) は,タスク成功を予測するためにユーザ命令とビデオ実行シーケンスのみを必要とする。
論文 参考訳（メタデータ） (2026-03-10T19:17:22Z) - AI-Driven Evaluation of Surgical Skill via Action Recognition [4.92174988745803]
マイクロアナコシス性能の自動評価のためのAI駆動型フレームワークを提案する。
マイクロアナコシススキルの5つの側面、例えば、全体的な動作実行、プロシージャクリティカルアクション中の運動品質、一般的な楽器ハンドリングについて評価する。
論文 参考訳（メタデータ） (2025-12-30T18:45:34Z) - VideoAgentTrek: Computer Use Pretraining from Unlabeled Videos [62.29924199978745]
VideoAgentTrekは、Webスケールで公開されているスクリーン録画ビデオからトレーニングデータを自動的にマイニングするスケーラブルなパイプラインである。
生のビデオには暗黙のデモが含まれているが、明示的なアクションラベルがない。
39,000のYouTubeチュートリアルビデオに適用されたパイプラインは、自動的に1250万のインタラクションステップを生成します。
論文 参考訳（メタデータ） (2025-10-22T11:25:48Z) - MoSFormer: Augmenting Temporal Context with Memory of Surgery for Surgical Phase Recognition [6.913838841605972]
メモリ・オブ・サーチ (Memory of Surgery, MOS) は、意味論的解釈可能な長期手術の歴史と短期的印象の両方を取り入れることで、時間的モデリングを強化する枠組みである。
MoSFormerは、複数のベンチマークで最先端のパフォーマンスをデモする。
論文 参考訳（メタデータ） (2025-03-02T02:26:21Z) - VEDIT: Latent Prediction Architecture For Procedural Video Representation Learning [59.68917139718813]
そこで本研究では,市販の冷凍型ビジュアルエンコーダを用いて,予測および手続き計画において,最先端(SoTA)の性能を達成可能であることを示す。
観察されたステップから凍結したクリップレベルの埋め込みを条件付けて、目に見えないステップの動作を予測することで、予測のための堅牢な表現を学習することができる。
論文 参考訳（メタデータ） (2024-10-04T14:52:09Z) - Early Action Recognition with Action Prototypes [62.826125870298306]
本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。
映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。
その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
論文 参考訳（メタデータ） (2023-12-11T18:31:13Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳（メタデータ） (2022-10-11T08:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。