論文の概要: Can Modern LLMs Act as Agent Cores in Radiology Environments?

• arxiv url: http://arxiv.org/abs/2412.09529v2
• Date: Thu, 19 Dec 2024 03:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:27:17.613935
• Title: Can Modern LLMs Act as Agent Cores in Radiology Environments?
• Title（参考訳）: 現代LSMは放射線学環境におけるエージェントコアとして機能するか?
• Authors: Qiaoyu Zheng, Chaoyi Wu, Pengcheng Qiu, Lisong Dai, Ya Zhang, Yanfeng Wang, Weidi Xie,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域にわたる精度と解釈性の向上を提供する。 本論文は, コンクリートラジオロジー剤構築の前提条件について検討することを目的とする。 LLMをベースとしたエージェントのための総合的な総合的総合評価データセットRadABench-Dataを提案する。 第二にRadABench-EvalPlatは、プロンプト駆動ワークフローを特徴とするエージェントのための新しい評価プラットフォームである。
• 参考スコア（独自算出の注目度）: 54.36730060680139
• License:
• Abstract: Advancements in large language models (LLMs) have paved the way for LLM-based agent systems that offer enhanced accuracy and interpretability across various domains. Radiology, with its complex analytical requirements, is an ideal field for the application of these agents. This paper aims to investigate the pre-requisite question for building concrete radiology agents which is, `Can modern LLMs act as agent cores in radiology environments?' To investigate it, we introduce RadABench with three-fold contributions: First, we present RadABench-Data, a comprehensive synthetic evaluation dataset for LLM-based agents, generated from an extensive taxonomy encompassing 6 anatomies, 5 imaging modalities, 10 tool categories, and 11 radiology tasks. Second, we propose RadABench-EvalPlat, a novel evaluation platform for agents featuring a prompt-driven workflow and the capability to simulate a wide range of radiology toolsets. Third, we assess the performance of 7 leading LLMs on our benchmark from 5 perspectives with multiple metrics. Our findings indicate that while current LLMs demonstrate strong capabilities in many areas, they are still not sufficiently advanced to serve as the central agent core in a fully operational radiology agent system. Additionally, we identify key factors influencing the performance of LLM-based agent cores, offering insights for clinicians on how to apply agent systems in real-world radiology practices effectively. All of our code and data are open-sourced in https://github.com/MAGIC-AI4Med/RadABench.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、様々な領域にわたる精度と解釈性を高めるLLMベースのエージェントシステムへの道を開いた。 ラジオロジーは複雑な解析的要求を持つため、これらのエージェントの応用には理想的な分野である。 本稿は,「現代LLMは放射線学環境におけるエージェントコアとして機能するのか?」という,具体的な放射線学エージェント構築の前提課題について検討することを目的とする。 まず,6つの解剖学,5つの画像モダリティ,10のツールカテゴリ,11の放射線学タスクを含む広範な分類学から生成された,LDMベースのエージェントの総合的な総合的な総合的な総合的評価データセットであるRadABench-Dataを紹介する。 第二にRadABench-EvalPlatは、プロンプト駆動ワークフローと幅広い放射線学ツールセットをシミュレートする機能を備えたエージェントのための新しい評価プラットフォームである。 第3に、ベンチマークで7つの主要なLCMのパフォーマンスを、複数のメトリクスで5つの視点から評価する。 以上の結果から,現在のLSMは,多くの領域で強力な機能を示すが,完全に動作する放射線治療システムにおいて,中核として機能するほど十分には進歩していないことが示唆された。 さらに, LLMをベースとしたエージェントコアの性能に影響を及ぼす重要な要因を同定し, 実世界の放射線学の実践にエージェントシステムを効果的に適用する方法について, 臨床医に洞察を提供する。 すべてのコードとデータはhttps://github.com/MAGIC-AI4Med/RadABench.comでオープンソース化されています。

関連論文リスト

• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• Preference Fine-Tuning for Factuality in Chest X-Ray Interpretation Models Without Human Feedback [10.826651024680169]
  放射線技師は医療画像を医療報告に翻訳することで重要な役割を担っている。 視覚言語モデル(VLM)を用いた自動アプローチは、アシスタントとして有望であるが、非常に高い精度を必要とする。 胸部X線(CXR)レポート生成に着目し,放射線学におけるVLMの自動選好アライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T16:07:11Z)
• The Era of Foundation Models in Medical Imaging is Approaching : A Scoping Review of the Clinical Value of Large-Scale Generative AI Applications in Radiology [0.0]
  放射線技師の不足に起因する社会問題は激化しており、人工知能は潜在的な解決策として強調されている。 最近出現する大規模生成AIは、大規模言語モデル(LLM)からマルチモーダルモデルへと拡張されている。 このスコーピングレビューは、大規模生成型AIアプリケーションの臨床的価値に関する既存の文献を体系的に整理する。
  論文  参考訳（メタデータ） (2024-09-03T00:48:50Z)
• AgentGym: Evolving Large Language Model-based Agents across Diverse Environments [116.97648507802926]
  大規模言語モデル(LLM)はそのようなエージェントを構築するための有望な基盤と考えられている。 我々は、自己進化能力を備えた一般機能 LLM ベースのエージェントを構築するための第一歩を踏み出す。 我々はAgentGymを提案する。AgentGymは、幅広い、リアルタイム、ユニフォーマット、並行エージェント探索のための様々な環境とタスクを特徴とする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-06-06T15:15:41Z)
• Towards Generalizable Agents in Text-Based Educational Environments: A Study of Integrating RL with LLMs [22.568925103893182]
  我々は、強化学習(RL)と大言語モデル(LLM)を統合することにより、オープンエンドテキストベースの学習環境におけるエージェントの一般化能力の向上を目指す。 PharmaSimTextは、診断会話を実践するために設計された、PharmaSim仮想薬局環境から派生した新しいベンチマークである。 以上の結果から, RLをベースとしたエージェントは, タスク完了に優れるが, 品質診断質問の欠如が示唆された。
  論文  参考訳（メタデータ） (2024-04-29T14:53:48Z)
• Autonomous Artificial Intelligence Agents for Clinical Decision Making in Oncology [0.6397820821509177]
  本稿では,大規模言語モデル(LLM)を中心的推論エンジンとして活用する,マルチモーダル医療用AIの代替手法を提案する。 このエンジンは、医療用AIツールのセットを自律的に調整し、デプロイする。 適切なツール(97%)、正しい結論(93.6%)、完全(94%)、個人患者に有用な推奨(89.2%)を提示する能力が高いことを示す。
  論文  参考訳（メタデータ） (2024-04-06T15:50:19Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。