論文の概要: QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models

• arxiv url: http://arxiv.org/abs/2603.13691v1
• Date: Sat, 14 Mar 2026 01:51:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.344311
• Title: QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models
• Title（参考訳）: QuarkMedBench: 大規模言語モデルを評価するための実世界のシナリオ駆動ベンチマーク
• Authors: Yao Wu, Kangping Yin, Liang Dong, Zhenxin Ma, Shuting Xu, Xuehai Wang, Yuxuan Jiang, Tingting Yu, Yunqing Hong, Jiayi Liu, Rianzhe Huang, Shuxin Zhao, Haiping Hu, Wen Shang, Jian Xu, Guanjun Jiang,
• Abstract要約: LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。 実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
• 参考スコア（独自算出の注目度）: 8.050059911826338
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While Large Language Models (LLMs) excel on standardized medical exams, high scores often fail to translate to high-quality responses for real-world medical queries. Current evaluations rely heavily on multiple-choice questions, failing to capture the unstructured, ambiguous, and long-tail complexities inherent in genuine user inquiries. To bridge this gap, we introduce QuarkMedBench, an ecologically valid benchmark tailored for real-world medical LLM assessment. We compiled a massive dataset spanning Clinical Care, Wellness Health, and Professional Inquiry, comprising 20,821 single-turn queries and 3,853 multi-turn sessions. To objectively evaluate open-ended answers, we propose an automated scoring framework that integrates multi-model consensus with evidence-based retrieval to dynamically generate 220,617 fine-grained scoring rubrics (~9.8 per query). During evaluation, hierarchical weighting and safety constraints structurally quantify medical accuracy, key-point coverage, and risk interception, effectively mitigating the high costs and subjectivity of human grading. Experimental results demonstrate that the generated rubrics achieve a 91.8% concordance rate with clinical expert blind audits, establishing highly dependable medical reliability. Crucially, baseline evaluations on this benchmark reveal significant performance disparities among state-of-the-art models when navigating real-world clinical nuances, highlighting the limitations of conventional exam-based metrics. Ultimately, QuarkMedBench establishes a rigorous, reproducible yardstick for measuring LLM performance on complex health issues, while its framework inherently supports dynamic knowledge updates to prevent benchmark obsolescence.
• Abstract（参考訳）: LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。 現在の評価は複数項目の質問に大きく依存しており、真のユーザ調査に固有の、構造化されていない、曖昧で、長い尾の複雑さを捉えていない。 このギャップを埋めるために、実世界の医療用LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介した。 我々は,20,821のシングルターンクエリと3,853のマルチターンセッションからなる,クリニカルケア,ウェルネスヘルス,プロフェッショナル調査にまたがる膨大なデータセットを収集した。 オープンエンドの回答を客観的に評価するために,複数モデルのコンセンサスとエビデンスに基づく検索を統合して,220,617個のきめ細かいグルーブ(クエリあたり約9.8)を動的に生成する自動スコアリングフレームワークを提案する。 評価中、階層的な重み付けと安全性の制約は、医療精度、キーポイントカバレッジ、リスクインターセプションを構造的に定量化し、人格化のコストと主観性を効果的に軽減する。 実験の結果, 生成したルーリックは, 臨床専門家のブラインド監査と91.8%の一致率を示し, 信頼性の高い医療信頼性を確立した。 重要な点として、このベンチマークのベースライン評価は、現実の臨床的ニュアンスをナビゲートする際の最先端モデルと、従来の試験ベースメトリクスの限界を強調している。 最終的にQuarkMedBenchは、複雑な健康問題においてLLMのパフォーマンスを測定するための厳密で再現可能なヤードスティックを確立し、そのフレームワークは本質的に、ベンチマークの陳腐化を防ぐための動的知識更新をサポートしている。

関連論文リスト

• ClinConsensus: A Consensus-Based Benchmark for Evaluating Chinese Medical LLMs across Difficulty Levels [39.33170904610862]
  大規模言語モデル(LLM)は、病気の予防、臨床的意思決定、長期ケアにまたがる約束を示す健康管理にますます応用されている。 ClinConsensusは、臨床専門家がキュレートし、検証し、品質を制御した中国の医療ベンチマークである。 ClinConsensusは、予防と介入から長期フォローアップまで、ケアの全期間にわたる2500件のオープンエンドケースで構成されており、36の専門医、12の共通臨床タスクタイプ、そして徐々に複雑さのレベルが増大している。
  論文  参考訳（メタデータ） (2026-03-02T17:17:18Z)
• LiveClin: A Live Clinical Benchmark without Leakage [50.45415584327275]
  LiveClinは、実際の臨床実践を近似するために設計されたライブベンチマークである。 本研究は,患者を臨床経過全体にわたる複雑なマルチモーダルな評価シナリオに転換する。 LiveClin上で26のモデルを評価すると、これらの実世界のシナリオの難しさが明らかとなり、最高性能のモデルではケース精度が35.7%に達した。
  論文  参考訳（メタデータ） (2026-02-18T03:59:46Z)
• LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation [22.211535340726073]
  LiveMedBenchは、オンライン医療コミュニティからリアルな臨床ケースを抽出する、継続的に更新されたベンチマークである。 LiveMedBenchは、38の専門医と複数の言語にまたがる2,756の現実世界のケースで構成され、16,702のユニークな評価基準と組み合わせている。 大規模な評価では、最高のパフォーマンスモデルでさえ39.2%しか達成せず、84%のモデルがカット後のケースで性能劣化を示す。
  論文  参考訳（メタデータ） (2026-02-10T23:38:25Z)
• MedDialogRubrics: A Comprehensive Benchmark and Evaluation Framework for Multi-turn Medical Consultations in Large Language Models [15.91764739198419]
  5,200件の患者と6万件以上のきめ細粒度評価ルーブリックからなる新規なベンチマークであるMedDialogRubricsについて紹介する。 本フレームワークでは,実世界の電子的健康記録にアクセスすることなく,現実的な患者記録と主訴を合成するマルチエージェントシステムを採用している。
  論文  参考訳（メタデータ） (2026-01-06T13:56:33Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
  医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。 現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。 我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
  論文  参考訳（メタデータ） (2025-04-21T16:51:11Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。