論文の概要: ReflecTool: Towards Reflection-Aware Tool-Augmented Clinical Agents

• arxiv url: http://arxiv.org/abs/2410.17657v1
• Date: Wed, 23 Oct 2024 08:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:21.711613
• Title: ReflecTool: Towards Reflection-Aware Tool-Augmented Clinical Agents
• Title（参考訳）: ReflecTool:リフレクション・アウェア・ツールを応用した臨床薬の開発
• Authors: Yusheng Liao, Shuyang Jiang, Yanfeng Wang, Yu Wang,
• Abstract要約: 大規模言語モデル(LLM)は医療分野で有望な可能性を示している。 ClinicalAgent Bench (CAB) は、5つの重要な臨床次元にわたる18のタスクからなる総合的な医療エージェントベンチマークである。 ReflecToolはドメイン固有のツールを2段階以内で利用できる新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 22.596827147978598
• License:
• Abstract: Large Language Models (LLMs) have shown promising potential in the medical domain, assisting with tasks like clinical note generation and patient communication. However, current LLMs are limited to text-based communication, hindering their ability to interact with diverse forms of information in clinical environments. Despite clinical agents succeeding in diverse signal interaction, they are oriented to a single clinical scenario and hence fail for broader applications. To evaluate clinical agents holistically, we propose ClinicalAgent Bench~(CAB), a comprehensive medical agent benchmark consisting of 18 tasks across five key realistic clinical dimensions. Building on this, we introduce ReflecTool, a novel framework that excels at utilizing domain-specific tools within two stages. The first optimization stage progressively enlarges a long-term memory by saving successful solving processes and tool-wise experience of agents in a tiny pre-defined training set. In the following inference stage, ReflecTool can search for supportive successful demonstrations from already built long-term memory to guide the tool selection strategy, and a verifier improves the tool usage according to the tool-wise experience with two verification methods--iterative refinement and candidate selection. Extensive experiments on ClinicalAgent Benchmark demonstrate that ReflecTool surpasses the pure LLMs with more than 10 points and the well-established agent-based methods with 3 points, highlighting its adaptability and effectiveness in solving complex clinical tasks.
• Abstract（参考訳）: 大言語モデル(LLM)は医療分野で有望な可能性を示し、臨床ノート作成や患者とのコミュニケーションなどのタスクを支援している。 しかし、現在のLSMはテキストベースのコミュニケーションに限られており、臨床環境における多様な情報と対話する能力を妨げている。 多様なシグナル相互作用に成功している臨床薬にもかかわらず、それらは単一の臨床シナリオに向けられており、より広範な応用に失敗する。 臨床エージェントを全体評価するために,5つの重要な臨床次元にまたがる18のタスクからなる総合的な医療エージェントベンチマークであるクリニカルエージェントベンチ(CAB)を提案する。 この上に構築されたReflecToolは、ドメイン固有のツールを2段階で活用できる新しいフレームワークです。 第1の最適化段階は、小さな事前定義されたトレーニングセットにおいて、解決プロセスの成功とエージェントのツールワイズ体験を節約することにより、長期記憶を段階的に拡大する。 以下の推論段階では、ReflecToolは、ツール選択戦略を導くために、既に構築された長期記憶から支援的な成功例を探索し、検証者は2つの検証方法、すなわち、イテレーティブ改善と候補選択により、ツールワイズ体験に応じてツール使用率を改善する。 ReflecToolは10点以上の純粋なLCMと3点以上の確立されたエージェントベースの手法を超越し、複雑な臨床課題の解決における適応性と有効性を強調した。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• AgentClinic: a multimodal agent benchmark to evaluate AI in simulated clinical environments [2.567146936147657]
  シミュレーションされた臨床環境における大規模言語モデル(LLM)の評価のためのマルチモーダルエージェントベンチマークであるAgentClinicを紹介する。 我々は,AgentClinicの逐次決定形式におけるMedQA問題の解決が極めて困難であることに気付き,診断精度が元の精度の10分の1以下に低下することを発見した。
  論文  参考訳（メタデータ） (2024-05-13T17:38:53Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• ClinicalAgent: Clinical Trial Multi-Agent System with Large Language Model-based Reasoning [16.04933261211837]
  大規模言語モデル(LLM)とマルチエージェントシステムは、自然言語処理において顕著な能力を示しているが、臨床試験では課題に直面している。 臨床用マルチエージェントシステムである臨床エージェントシステム(ClinicalAgent)について紹介する。
  論文  参考訳（メタデータ） (2024-04-23T06:30:53Z)
• AgentMD: Empowering Language Agents for Risk Prediction with Large-Scale Clinical Tool Learning [11.8292941452582]
  我々は,臨床電卓を様々な臨床状況でキュレートし,応用できる新しい言語エージェントであるAgentMDを紹介した。 AgentMDは、実行可能な機能と構造化ドキュメントを備えた2,164の多様な臨床電卓のコレクションを自動でキュレートした。 手作業による評価では、3つの品質指標に対して80%以上の精度を実現している。
  論文  参考訳（メタデータ） (2024-02-20T18:37:19Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• VBridge: Connecting the Dots Between Features, Explanations, and Data for Healthcare Models [85.4333256782337]
  VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。 我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。 症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
  論文  参考訳（メタデータ） (2021-08-04T17:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。