論文の概要: Toward Workflow-Aware Benchmarking for Healthcare NLP Agents

• arxiv url: http://arxiv.org/abs/2609.00296v1
• Date: Mon, 31 Aug 2026 19:41:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.026764
• Title: Toward Workflow-Aware Benchmarking for Healthcare NLP Agents
• Title（参考訳）: 医療NLPエージェントのワークフロー対応ベンチマークに向けて
• Abstract要約: 医療用NLPエージェントのエピソードレベル評価プロトコルを提案する。 モデル、エージェント、シミュレートされたワークフローの振る舞いにまたがるエビデンスを分離する。 それは、状態継続性、エビデンストレーサビリティ、エスカレーション決定のためのアノテーションとスコアを定義します。
• 参考スコア（独自算出の注目度）: 4.287745257410248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) agents are increasingly proposed for healthcare tasks such as clinical documentation, evidence retrieval, patient messaging, and care coordination. Yet many evaluations remain limited to static medical question answering or one-shot generation, under-representing longitudinal state, interruptions, and human handoffs. We introduce an episode-level evaluation protocol for healthcare NLP agents. The protocol separates evidence across model, agent, and simulated-workflow behavior; specifies a five-field episode schema; and defines annotation and scoring for state continuity, evidence traceability, and escalation decisions. It is instantiated as four task templates: documentation update, evidence retrieval, patient messaging, and triage handoff. The protocol does not claim to measure clinical outcomes or deployment value. Instead, it supplies a reproducible intermediate evaluation layer between static benchmarks and prospective workflow studies, with an explicit cost-sensitive treatment of missed versus unnecessary escalation.
• Abstract（参考訳）: 大言語モデル(LLM)エージェントは、臨床ドキュメント、エビデンス検索、患者メッセージング、ケア調整といった医療タスクに対して、ますます提案されている。 しかし、多くの評価は、静的な医療質問応答やワンショット生成、非表現の長手状態、中断、人間の手引きに限られている。 医療用NLPエージェントのエピソードレベル評価プロトコルを提案する。 このプロトコルは、モデル、エージェント、シミュレートされたワークフローの振る舞いにまたがるエビデンスを分離し、5フィールドのエピソードスキーマを定義し、ステート連続性、エビデンストトレーサビリティ、エスカレーション決定のためのアノテーションとスコアを定義している。 ドキュメント更新、エビデンス検索、患者メッセージング、トリアージハンドオフの4つのタスクテンプレートとしてインスタンス化されている。 このプロトコルは、臨床結果やデプロイメントの価値を測定するものではない。 代わりに、静的ベンチマークと予測ワークフロー研究の間の再現可能な中間評価層を提供し、不要なエスカレーションと不必要なエスカレーションの明確なコスト依存性の処理を提供する。

関連論文リスト

• Toward Automated Detection of Documentation Inconsistencies in Electronic Health Records [16.68744679025527]
  一般ドメイン大言語モデル(LLM)は、実世界の放電サマリーから表れる。 LLMは3,460人の候補者の不一致を表面化し、69.7%が入院した。
  論文  参考訳（メタデータ） (2026-07-24T23:43:35Z)
• ProtoMedAgent: Multimodal Clinical Interpretability via Privacy-Aware Agentic Workflows [7.27267618572654]
  ProtoMedAgentは、反復的なゼロ段階のテスト時間最適化問題としてマルチモーダルな臨床報告を定式化する。 オンライン生成は、厳密な集合論微分と反射的スクリーブ・クリティカルループによって制限される。 ProtoMedAgentは91.2%の比較集合Fithfulnessを実現し、標準RAG(46.2%)を根本的に上回る
  論文  参考訳（メタデータ） (2026-05-13T20:57:37Z)
• ADAPTS: Agentic Decomposition for Automated Protocol-agnostic Tracking of Symptoms [36.94429692322632]
  ADAPTS(Agentic Decomposition for Automated Protocol-Agnostic Tracking of Symptoms)は、うつ病と不安度の自動評価のためのフレームワークである。 このアプローチは、長期臨床面接を症状特異的推論タスクに分解する。 レーティングは、オリジナルの人間のレーティングよりも、専門家のベンチマークを近似した。
  論文  参考訳（メタデータ） (2026-05-04T23:08:42Z)
• Agentic Cognitive Profiling: Realigning Automated Alzheimer's Disease Detection with Clinical Construct Validity [66.94391219005291]
  本稿では,臨床プロトコルロジックによる自動スクリーニングを実現するエージェント認知プロファイリング(ACP)を提案する。 我々の設計の中心は、すべての定量化を決定論的関数呼び出しに委譲することで、測定から意味的理解を分離することである。 ACPは、タスク試験で90.5%のスコアマッチ率、AD予測で85.3%の精度を達成し、一般的な基準を上回っている。
  論文  参考訳（メタデータ） (2026-03-18T06:15:35Z)
• AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
  本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。 評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。 実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
  論文  参考訳（メタデータ） (2026-01-23T11:59:13Z)
• MedDCR: Learning to Design Agentic Workflows for Medical Coding [55.51674334874892]
  医療符号化は、フリーテキスト臨床ノートを標準化された診断および手続きコードに変換する。 本稿では,設計を学習問題として扱うクローズドループフレームワークであるMedDCRを提案する。 ベンチマークデータセットでは、MedDCRは最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-11-17T13:30:51Z)
• Evaluating Prompting Strategies with MedGemma for Medical Order Extraction [6.312830352605384]
  本稿では、我々のチームがMEDIQA-OE-2025共有タスクを提出したことを詳述する。 構造化順序抽出のための新しいドメイン固有オープンソース言語モデルであるMedGemmaの性能について検討する。
  論文  参考訳（メタデータ） (2025-11-13T18:22:32Z)
• DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
  大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。 本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
  論文  参考訳（メタデータ） (2025-10-24T08:01:21Z)
• Automated Clinical Problem Detection from SOAP Notes using a Collaborative Multi-Agent LLM Architecture [8.072932739333309]
  我々は,このギャップに対処するために,臨床相談チームをモデル化する共同マルチエージェントシステム(MAS)を導入する。 このシステムは、SOAPノートの主観的(S)および目的的(O)セクションのみを分析することによって、臨床上の問題を特定する。 マネージャエージェントは、階層的で反復的な議論に従事し、合意に達するために、動的に割り当てられた専門家エージェントのチームを編成する。
  論文  参考訳（メタデータ） (2025-08-29T17:31:24Z)
• DENSE: Longitudinal Progress Note Generation with Temporal Modeling of Heterogeneous Clinical Notes Across Hospital Visits [0.1578515540930834]
  プログレッシブノートは電子健康記録で最も臨床的に意味のあるアーティファクトの1つである。 その重要性にもかかわらず、それらは大規模なEHRデータセットでは不足している。 DENSEは、医師が過去の出会いを参照する方法をシミュレートすることで、臨床文書と整合するように設計されたシステムである。
  論文  参考訳（メタデータ） (2025-07-18T17:00:27Z)
• BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
  本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。 エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。 実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
  論文  参考訳（メタデータ） (2020-09-24T00:42:36Z)
• Learning Contextualized Document Representations for Healthcare Answer Retrieval [68.02029435111193]
  コンテキスト談話ベクトル(英: Contextual Discourse Vectors、CDV)は、長文からの効率的な回答検索のための分散文書表現である。 本モデルでは,階層型LSTMレイヤとマルチタスクトレーニングを併用したデュアルエンコーダアーキテクチャを用いて,臨床エンティティの位置と文書の談話に沿った側面をエンコードする。 我々の一般化モデルは、医療パスランキングにおいて、最先端のベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T15:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。