論文の概要: A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback

• arxiv url: http://arxiv.org/abs/2605.25440v1
• Date: Mon, 25 May 2026 05:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.327466
• Title: A Multi-Agent LLM Framework for Rating the Quality of Surgical Feedback
• Title（参考訳）: 手術フィードバックの品質評価のための多エージェントLLMフレームワーク
• Authors: Rafal Kocielnik, J. Everett Knudsen, Steven Y. Cen, Jasmine Lin, Cherine H. Yang, Atharva Deo, Ujjwal Pasupulety, Peter Wager, Anima Anandkumar, Andrew J. Hung,
• Abstract要約: 手術室の外科医が行う言語的フィードバックは、居住スキル獲得において重要な形式的役割を担っている。 本稿では,手術訓練の文脈に根ざした,解釈可能なフィードバック品質基準を発見するための2段階のLCMベースのフレームワークを提案する。 本手法では,多エージェントおよび外科領域の知識注入を用いて,人間の解釈可能な評価基準の小さなセットを探索する。
• 参考スコア（独自算出の注目度）: 52.053200111780626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verbal feedback delivered by attending surgeons in the operating room plays a critical formative role in resident trainee skill acquisition. Yet, assessing the quality of trainer feedback and its effectiveness in influencing trainee behavior during live surgery remains a challenge. Prior studies assessed feedback content relying on extensive manual annotation by expert human raters and focused on developing broad taxonomies that overlook the qualitative aspects of feedback delivery such as clarity or urgency. Limited existing automated methods, including keyword analysis and topic modeling, also fail to capture these nuanced aspects. We introduce a two-stage LLM-based framework that discovers interpretable feedback quality criteria grounded in the context of surgical training. Our method uses multi-agent prompting and surgical domain knowledge injection to discover a small set of human interpretable scoring criteria (e.g., Encouraging, Urgent, Clear). These criteria are then used to automatically score live surgical feedback via an LLM-as-a-judge approach. Evaluation on 4.2k trainer feedback instances demonstrates that our AI-discovered criteria outperform prior content-based frameworks in predicting feedback effectiveness, including observed trainee behavioral adjustments and trainer approval. This work advances scalable, human-aligned assessment of communication quality in the operating room and provides a foundation for improving surgical teaching practices.
• Abstract（参考訳）: 手術室の外科医が行う言語的フィードバックは,研修生のスキル獲得において重要な形式的役割を担っている。 しかし,ライブ手術時の訓練者の行動に影響を及ぼすトレーナーのフィードバックの質と効果を評価することは困難である。 以前の研究では、専門家による広範囲な手動の注釈に頼ったフィードバックコンテンツを評価し、明確さや緊急性といったフィードバック配信の質的な側面を無視する広範な分類学の開発に重点を置いていた。 キーワード分析やトピックモデリングを含む、既存の自動化手法は、これらのニュアンスな側面を捉えるのに失敗する。 本稿では,手術訓練の文脈に根ざした,解釈可能なフィードバック品質基準を発見するための2段階のLCMベースのフレームワークを提案する。 本手法では, マルチエージェント・プロンプトと外科的ドメイン知識注入を用いて, 人間の解釈可能な評価基準(例えば, Encouraging, Urgent, Clear)の小さなセットを探索する。 これらの基準は、LSM-as-a-judgeアプローチにより、自動的にライブの外科的フィードバックを評価するために使用される。 4.2kのトレーナーフィードバックインスタンスの評価は、我々のAIが発見した基準が、観察されたトレーナーの行動調整やトレーナーの承認を含むフィードバックの有効性を予測する以前のコンテンツベースのフレームワークより優れていることを示している。 本研究は,手術室におけるコミュニケーション品質のスケーラブルな人為的アセスメントを推進し,外科教育の実践改善のための基盤を提供する。

関連論文リスト

• AI-Driven Evaluation of Surgical Skill via Action Recognition [4.92174988745803]
  マイクロアナコシス性能の自動評価のためのAI駆動型フレームワークを提案する。 マイクロアナコシススキルの5つの側面、例えば、全体的な動作実行、プロシージャクリティカルアクション中の運動品質、一般的な楽器ハンドリングについて評価する。
  論文  参考訳（メタデータ） (2025-12-30T18:45:34Z)
• Explainable AI for Automated User-specific Feedback in Surgical Skill Acquisition [38.38538970682482]
  人間-AIを用いた手術訓練における説明可能なAI(XAI)によるフィードバックの有効性について検討した。 我々は、従来のビデオベースのコーチングに対するXAI指導によるフィードバックが、タスク結果、認知的負荷、AI支援学習に対する訓練者の認識に与える影響を比較した。
  論文  参考訳（メタデータ） (2025-08-04T16:48:44Z)
• AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation [55.2739790399209]
  本稿では,医療用LLMの質問応答能力を測定するために,13Bパラメータを用いたオープンソースの自動評価モデルAutoMedEvalを提案する。 AutoMedEvalの包括的な目的は、多様なモデルが生み出す応答の質を評価することであり、人間の評価への依存を著しく低減することを目的としている。
  論文  参考訳（メタデータ） (2025-05-17T07:44:54Z)
• Automating Feedback Analysis in Surgical Training: Detection, Categorization, and Assessment [65.70317151363204]
  本研究は,非構造化現実記録からの外科的対話を再構築するための最初の枠組みを紹介する。 外科訓練では,ライブ手術中に訓練者に提供する形式的言語フィードバックは,安全性の確保,行動の即時修正,長期的スキル獲得の促進に不可欠である。 本フレームワークは,音声活動の検出,話者ダイアリゼーション,自動音声認識と,幻覚を除去する新たな拡張機能を統合する。
  論文  参考訳（メタデータ） (2024-12-01T10:35:12Z)
• Multi-Modal Self-Supervised Learning for Surgical Feedback Effectiveness Assessment [66.6041949490137]
  そこで本研究では,音声による音声入力とそれに対応する手術映像からの情報を統合して,フィードバックの有効性を予測する手法を提案する。 以上の結果から,手書きフィードバックと手術映像の両方が,訓練者の行動変化を個別に予測できることがわかった。 本研究は,手術フィードバックの自動評価を推進するためのマルチモーダル学習の可能性を示すものである。
  論文  参考訳（メタデータ） (2024-11-17T00:13:00Z)
• Deep Multimodal Fusion for Surgical Feedback Classification [70.53297887843802]
  外科的フィードバックの5カテゴリー分類を臨床的に検証した。 次に,テキスト,音声,ビデオモダリティの入力から,これらの5つのカテゴリの外科的フィードバックを分類するために,多ラベル機械学習モデルを開発した。 我々の研究の最終的な目標は、リアルタイムな文脈的外科的フィードバックのアノテーションを大規模に自動化することである。
  論文  参考訳（メタデータ） (2023-12-06T01:59:47Z)
• Video-based Formative and Summative Assessment of Surgical Tasks using Deep Learning [0.8612287536028312]
  本稿では,外科的スキル実行の高精度な評価を自動的かつ客観的に行うことができる深層学習(DL)モデルを提案する。 整形性評価は外科的パフォーマンスと相関する視覚特徴のヒートマップを用いて生成される。
  論文  参考訳（メタデータ） (2022-03-17T20:07:48Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。