論文の概要: MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents
- arxiv url: http://arxiv.org/abs/2607.02879v1
- Date: Fri, 03 Jul 2026 02:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.44218
- Title: MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents
- Title(参考訳): MedCalc-Pro: LLMエージェントを用いた複雑な医療計算の解法
- Abstract要約: 我々は,3つのタスク設定を段階的にカバーする新しい医療計算ベンチマーク,MedCalc-Proを提案する。
MedCalc-Proには2,268のリアルな臨床ケースがあり、14の臨床部門で77の医療電卓をカバーしている。
また,マルチツール選択とネストツール呼び出しをサポートする,より一般化可能なエージェントフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.682551949752529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current benchmarks for evaluating large language models (LLMs) in medical calculation are largely based on simplified settings, where each patient case corresponds to a single calculator and the required tool is explicitly specified in the query. However, real clinical scenarios often require multiple calculators for joint evaluation, nested-scale calculation, and fuzzy queries that do not directly specify the target calculator. To this end, we propose a new medical calculation benchmark, MedCalc-Pro, which covers three progressively challenging task settings: single-calculator, multi-calculator, and nested-calculator calculation settings. MedCalc-Pro contains 2,268 real-world clinical cases, covering 77 medical calculators across 14 clinical departments. Meanwhile, to address the limited performance of existing frameworks and methods in complex clinical scenarios, we further propose a more generalizable agent framework that supports multi-tool selection and nested-tool calling, while suppressing parameter error propagation through structured validation and evidence review. We conduct systematic comparisons across open-source, closed-source, and medical-specialized LLMs, and the results show that our framework achieves the best performance across all three task settings. This work provides a new benchmark and method for evaluating and applying LLMs in challenging medical calculation scenarios.
- Abstract(参考訳): 医学計算における大規模言語モデル(LLM)を評価するための現在のベンチマークは、主に単純化された設定に基づいており、各患者ケースは単一の電卓に対応し、必要なツールはクエリで明示的に指定される。
しかし、実際の臨床シナリオは、しばしば、複数の電卓を、目標電卓を直接指定しない、共同評価、ネストスケールの計算、ファジィクエリに必要とします。
この目的のために、我々はMedCalc-Proという新しい医療計算ベンチマークを提案し、これは、シングル計算機、マルチ計算機、ネストされた計算機計算設定の3つの課題をカバーしている。
MedCalc-Proには2,268のリアルな臨床ケースがあり、14の臨床部門で77の医療電卓をカバーしている。
一方、複雑な臨床シナリオにおける既存のフレームワークやメソッドの限られた性能に対処するため、構造化された検証とエビデンスレビューを通じてパラメータエラーの伝搬を抑制するとともに、マルチツール選択とネストされたツール呼び出しをサポートするより一般化可能なエージェントフレームワークを提案する。
我々は,オープンソース,クローズドソース,医療特化LDM間の系統的な比較を行い,本フレームワークが3つのタスク設定で最高のパフォーマンスを達成することを示す。
この研究は、医学計算に挑戦するシナリオにおいて、LSMを評価し、適用するための新しいベンチマークと方法を提供する。
関連論文リスト
- PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。
例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
論文 参考訳(メタデータ) (2026-02-27T07:19:23Z) - MedMCP-Calc: Benchmarking LLMs for Realistic Medical Calculator Scenarios via MCP Integration [17.39421062613435]
MedMCP-Calcは、MedMCP(Model Context Protocol)の統合により、医学計算のシナリオを評価するための最初のベンチマークである。
MedMCP-Calcは、4つの臨床領域にまたがる118のシナリオタスクから構成されており、自然なクエリ、構造化データベースのインタラクション、外部参照検索、プロセスレベルの評価を模倣するファジィタスク記述が特徴である。
我々は、シナリオ計画とツール拡張を取り入れた微調整モデルであるCalcMateを開発し、オープンソースモデル間の最先端性能を実現する。
論文 参考訳(メタデータ) (2026-01-30T14:56:20Z) - A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。
ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。
本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-29T18:48:21Z) - MedCalc-Eval and MedCalc-Env: Advancing Medical Calculation Capabilities of Large Language Models [12.35019345259966]
MedCalc-Evalは、大規模言語モデルの医療計算能力を評価するための最大のベンチマークである。
これらのタスクは、内科、外科、小児科、心臓科を含む様々な専門分野にまたがっており、より広くより困難な評価設定を提供する。
我々はさらに、InternBootcampフレームワーク上に構築された強化学習環境であるMedCalc-Envを開発し、多段階の臨床推論と計画を可能にした。
論文 参考訳(メタデータ) (2025-10-31T08:07:16Z) - From Scores to Steps: Diagnosing and Improving LLM Performance in Evidence-Based Medical Calculations [45.414878840652115]
大規模言語モデル(LLM)は医療ベンチマークで有望な性能を示した。
しかし、医学的な計算を行う能力は未熟であり、評価も不十分である。
本研究は,臨床信頼性を重視した医療計算評価を再考する。
論文 参考訳(メタデータ) (2025-09-20T09:10:26Z) - LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。
LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
論文 参考訳(メタデータ) (2025-06-04T15:43:14Z) - MeNTi: Bridging Medical Calculator and LLM Agent with Nested Tool Calling [12.236137157144965]
大規模言語モデル(LLM)のための汎用エージェントアーキテクチャであるMeNTiを紹介する。
MeNTiは特殊な医療ツールキットを統合し、メタツールとネスト呼び出し機構を使用してLSMツールの利用を促進する。
計算機シナリオの臨床過程におけるLCMの定量的評価能力を評価するために,CalcQAを紹介する。
論文 参考訳(メタデータ) (2024-10-17T14:46:22Z) - MedCalc-Bench: Evaluating Large Language Models for Medical Calculations [18.8552481902506]
医学における大規模言語モデル(LLM)を評価するための現在のベンチマークは、主にドメイン知識と記述的推論を含む質問応答に焦点を当てている。
我々は,LSMの医療計算能力を評価することを目的とした,第一種データセットであるMedCalc-Benchを提案する。
論文 参考訳(メタデータ) (2024-06-17T19:07:21Z) - Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。
まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。
次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。
ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
論文 参考訳(メタデータ) (2024-04-25T15:51:06Z) - PyTrial: Machine Learning Software and Benchmark for Clinical Trial
Applications [49.69824178329405]
PyTrialは、臨床試験の設計と運用のための一連の機械学習アルゴリズムのベンチマークとオープンソース実装を提供する。
患者結果予測,臨床試験サイト選択,トライアル結果予測,患者と臨床のマッチング,トライアル類似性検索,合成データ生成など,6つのタスクにわたる臨床試験のための34のMLアルゴリズムを網羅的に検討した。
PyTrialは、データローディング、モデル仕様、モデルトレーニング、モデル評価という、単純な4段階のプロセスで各タスクを定義します。
論文 参考訳(メタデータ) (2023-06-06T21:19:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。