論文の概要: MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents

• arxiv url: http://arxiv.org/abs/2501.14654v2
• Date: Wed, 12 Feb 2025 05:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:46:28.757471
• Title: MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents
• Title（参考訳）: MedAgentBench:医療用LLMエージェントをベンチマークするための現実的な仮想EHR環境
• Authors: Yixing Jiang, Kameron C. Black, Gloria Geng, Danny Park, James Zou, Andrew Y. Ng, Jonathan H. Chen,
• Abstract要約: 最近の大規模言語モデル(LLM)は、特にエージェントとして機能する能力において顕著な進歩を見せている。 MedAgentBenchは、医療記録コンテキストにおける大規模言語モデルのエージェント能力を評価するために設計された幅広い評価スイートである。 環境は、現代のEMRシステムで使用される標準的なAPIと通信インフラを使用するため、ライブのEMRシステムに容易に移行できる。
• 参考スコア（独自算出の注目度）: 20.96732566767587
• License:
• Abstract: Recent large language models (LLMs) have demonstrated significant advancements, particularly in their ability to serve as agents thereby surpassing their traditional role as chatbots. These agents can leverage their planning and tool utilization capabilities to address tasks specified at a high level. However, a standardized dataset to benchmark the agent capabilities of LLMs in medical applications is currently lacking, making the evaluation of LLMs on complex tasks in interactive healthcare environments challenging. To address this gap, we introduce MedAgentBench, a broad evaluation suite designed to assess the agent capabilities of large language models within medical records contexts. MedAgentBench encompasses 300 patient-specific clinically-derived tasks from 10 categories written by human physicians, realistic profiles of 100 patients with over 700,000 data elements, a FHIR-compliant interactive environment, and an accompanying codebase. The environment uses the standard APIs and communication infrastructure used in modern EMR systems, so it can be easily migrated into live EMR systems. MedAgentBench presents an unsaturated agent-oriented benchmark that current state-of-the-art LLMs exhibit some ability to succeed at. The best model (Claude 3.5 Sonnet v2) achieves a success rate of 69.67%. However, there is still substantial space for improvement which gives the community a next direction to optimize. Furthermore, there is significant variation in performance across task categories. MedAgentBench establishes this and is publicly available at https://github.com/stanfordmlgroup/MedAgentBench , offering a valuable framework for model developers to track progress and drive continuous improvements in the agent capabilities of large language models within the medical domain.
• Abstract（参考訳）: 最近の大規模言語モデル(LLM)は、特にエージェントとして機能し、チャットボットとしての伝統的な役割を超越する能力において、大きな進歩を見せている。 これらのエージェントは、高いレベルで指定されたタスクに対処するために、計画とツールの利用能力を活用することができる。 しかし、医療応用におけるLSMのエージェント能力のベンチマークを行うための標準化されたデータセットは、現在不足しており、対話型医療環境における複雑なタスクにおけるLSMの評価は困難である。 このギャップに対処するために、医療記録コンテキストにおける大規模言語モデルのエージェント能力を評価するために設計された幅広い評価スイートであるMedAgentBenchを紹介する。 MedAgentBenchには、人間の医師が書いた10のカテゴリから、300人の患者固有の臨床由来のタスク、70,000以上のデータ要素を持つ100人の患者の現実的なプロファイル、FHIR準拠のインタラクティブ環境、それに付随するコードベースが含まれている。 環境は、現代のEMRシステムで使用される標準的なAPIと通信インフラを使用するため、ライブのEMRシステムに容易に移行できる。 MedAgentBenchは、現在の最先端のLLMが成功する能力を示す不飽和エージェント指向のベンチマークを提示している。 最良のモデル(Claude 3.5 Sonnet v2)は69.67%の成功率を達成した。 しかし、コミュニティに最適化の次の方向性を与えるような改善の余地は、まだたくさんある。 さらに、タスクカテゴリ間でパフォーマンスに大きな変化がある。 MedAgentBenchは、これを確立し、https://github.com/stanfordmlgroup/MedAgentBenchで公開されている。このフレームワークは、モデル開発者が進捗を追跡し、医療領域内の大きな言語モデルのエージェント能力の継続的な改善を促進するための貴重なフレームワークを提供する。

関連論文リスト

• Can Modern LLMs Act as Agent Cores in Radiology Environments? [54.36730060680139]
  大規模言語モデル(LLM)は、様々な領域にわたる精度と解釈性の向上を提供する。 本論文は, コンクリートラジオロジー剤構築の前提条件について検討することを目的とする。 LLMをベースとしたエージェントのための総合的な総合的総合評価データセットRadABench-Dataを提案する。 第二にRadABench-EvalPlatは、プロンプト駆動ワークフローを特徴とするエージェントのための新しい評価プラットフォームである。
  論文  参考訳（メタデータ） (2024-12-12T18:20:16Z)
• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation [89.24729958546168]
  We present SPA-Bench, a comprehensive SmartPhone Agent Benchmark designed to evaluate (M)LLM-based agent。 SPA-Benchは3つの重要なコントリビューションを提供している。 英語と中国語の両方で、システムとサードパーティアプリをカバーする多様なタスクセットで、日々のルーチンで一般的に使用される機能に焦点を当てている。 複数の次元にまたがってエージェントのパフォーマンスを自動的に評価する新しい評価パイプラインは、タスク完了とリソース消費に関連する7つの指標を含んでいる。
  論文  参考訳（メタデータ） (2024-10-19T17:28:48Z)
• Turn Every Application into an Agent: Towards Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents [40.86728610906313]
  AXISは、ユーザインタフェースアクションよりもアプリケーションプログラミングインターフェース(API)を通してアクションを優先順位付けする、LLMベースの新しいエージェントフレームワークである。 Office Wordでの実験では、AXISはタスク完了時間を65%-70%削減し、認知負荷を38%-53%削減し、精度は97%-98%と人間と比較した。 また、すべてのアプリケーションをエージェントに変え、エージェント中心のオペレーティングシステム(Agent OS)への道を開く可能性についても検討している。
  論文  参考訳（メタデータ） (2024-09-25T17:58:08Z)
• MMedAgent: Learning to Use Medical Tools with Multi-modal Agent [27.314055140281432]
  本報告では,医療分野向けに設計された最初のエージェントである textbfMulti-modal textbfMedical textbfAgent (MMedAgent) を紹介する。 MMedAgentは、最先端のオープンソース手法やクローズドソースモデルであるGPT-4oと比較して、様々な医療タスクにおいて優れた性能を発揮することを示す総合的な実験である。
  論文  参考訳（メタデータ） (2024-07-02T17:58:23Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents [19.721008909326024]
  大規模言語モデル(LLM)は、医療人工知能(AI)における新しい技術革新の波を引き起こした 治療過程全体をシミュレートした,エージェント病院という病院のシミュラムを紹介した。 シラクラム内では、医師は、手動でトレーニングデータをラベル付けすることなく、多数の患者エージェントを治療することで、進化することができる。
  論文  参考訳（メタデータ） (2024-05-05T14:53:51Z)
• Benchmarking Mobile Device Control Agents across Diverse Configurations [19.01954948183538]
  B-MoCAは、モバイルデバイス制御エージェントの評価と開発のためのベンチマークである。 我々は,大規模言語モデル (LLM) やマルチモーダル LLM を用いたエージェントを含む多種多様なエージェントをベンチマークする。 これらのエージェントは、簡単なタスクの実行の熟練度を示す一方で、複雑なタスクにおけるパフォーマンスの低さは、将来の研究が有効性を改善するための重要な機会を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-25T14:56:32Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。