論文の概要: MedBench-IT: A Comprehensive Benchmark for Evaluating Large Language Models on Italian Medical Entrance Examinations

• arxiv url: http://arxiv.org/abs/2509.07135v1
• Date: Mon, 08 Sep 2025 18:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-10 14:38:27.08458
• Title: MedBench-IT: A Comprehensive Benchmark for Evaluating Large Language Models on Italian Medical Entrance Examinations
• Title（参考訳）: MedBench-IT: イタリア医学試験における大規模言語モデル評価のための総合ベンチマーク
• Authors: Ruggero Marino Lazzaroni, Alessandro Angioi, Michelangelo Puliga, Davide Sanna, Roberto Marras,
• Abstract要約: 大規模言語モデル (LLM) は教育の可能性を増すが、専門分野の英語以外の言語のベンチマークは乏しい。 MedBench-IT は,イタリアの医学大学入学試験における LLM の評価のための,最初の総合的なベンチマークである。 MedBench-ITは、生物学、化学、論理学、一般文化、数学、物理学の6分野にまたがる17,410人の専門家による複数の質問と3つの難易度からなる。
• 参考スコア（独自算出の注目度）: 36.94429692322632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) show increasing potential in education, yet benchmarks for non-English languages in specialized domains remain scarce. We introduce MedBench-IT, the first comprehensive benchmark for evaluating LLMs on Italian medical university entrance examinations. Sourced from Edizioni Simone, a leading preparatory materials publisher, MedBench-IT comprises 17,410 expert-written multiple-choice questions across six subjects (Biology, Chemistry, Logic, General Culture, Mathematics, Physics) and three difficulty levels. We evaluated diverse models including proprietary LLMs (GPT-4o, Claude series) and resource-efficient open-source alternatives (<30B parameters) focusing on practical deployability. Beyond accuracy, we conducted rigorous reproducibility tests (88.86% response consistency, varying by subject), ordering bias analysis (minimal impact), and reasoning prompt evaluation. We also examined correlations between question readability and model performance, finding a statistically significant but small inverse relationship. MedBench-IT provides a crucial resource for Italian NLP community, EdTech developers, and practitioners, offering insights into current capabilities and standardized evaluation methodology for this critical domain.
• Abstract（参考訳）: 大規模言語モデル (LLM) は教育の可能性を増すが、専門分野の英語以外の言語のベンチマークは乏しい。 MedBench-IT は,イタリアの医学大学入学試験における LLM の評価のための,初の総合的ベンチマークである。 MedBench-ITは、バイオロジー、化学、論理学、一般文化、数学、物理学の6分野にわたる17,410人の専門家による複数分野の質問と3つの難易度から構成されている。 我々は,プロプライエタリなLCM (GPT-4o, Claude series) や資源効率の高いオープンソース代替案 (30Bパラメータ) など,実用的デプロイ性を重視した多種多様なモデルを評価した。 精度を超えて、厳密な再現性試験(88.86%の応答整合性、被験者によって異なる)、バイアス分析の順序付け(最小の影響)、推論の迅速な評価を行った。 また,質問読みやすさとモデル性能の相関について検討し,統計的に有意だが小さな逆関係を見出した。 MedBench-ITは、イタリアのNLPコミュニティ、EdTech開発者、実践者にとって重要なリソースを提供し、この重要なドメインの現在の機能と標準化された評価方法論に関する洞察を提供する。

関連論文リスト

• R-Bench: Graduate-level Multi-disciplinary Benchmarks for LLM & MLLM Complex Reasoning Evaluation [75.33671166231096]
  我々は、Reasoning Bench(R-Bench)と呼ばれる、大学院レベルの多学派、英語の中国語ベンチマークを導入する。 RBenchは108の被験者に1,094の質問を、83の被験者に665の質問を、マルチモーダルなモデルテストに当てはめている。 我々は,OpenAI o1,GPT-4o,DeepSeek-R1など,広く使用されているモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-04T07:48:36Z)
• Polish Medical Exams: A new dataset for cross-lingual medical knowledge transfer assessment [0.865489625605814]
  本研究では,ポーランドの医療ライセンシングと専門化試験に基づく新しいベンチマークデータセットを提案する。 ポーランド語と英語のパラレルコーパスのサブセットを含む24,000以上の試験質問を含んでいる。 汎用・ドメイン特化・ポーランド特化モデルを含む最先端のLCMを評価し,その性能を人間医学生と比較した。
  論文  参考訳（メタデータ） (2024-11-30T19:02:34Z)
• MedBench: A Comprehensive, Standardized, and Reliable Benchmarking System for Evaluating Chinese Medical Large Language Models [55.215061531495984]
  メドベンチ(MedBench)は、中国の医学LLMの総合的、標準化され、信頼性の高いベンチマークシステムである。 まず、MedBenchは43の臨床専門分野をカバーするために、最大の評価データセット(300,901の質問)を組み立てる。 第3に、MedBenchは動的評価機構を実装し、ショートカット学習や解答記憶を防ぐ。
  論文  参考訳（メタデータ） (2024-06-24T02:25:48Z)
• FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models [64.11333762954283]
  本稿では,中国のLLMの基本知識能力を厳格に評価するための先駆的ベンチマークであるFoundaBenchを紹介する。 本稿では、従来の評価手法とCircularEvalプロトコルの両方を用いて、モデル応答の潜在的なバイアスを軽減するため、FoundaBenchを用いた12の最先端LCMの広範な評価を行う。 以上の結果から,中国のコーパスで事前学習したモデルの性能が向上し,モデル推論とメモリリコール能力の相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-04-29T01:49:07Z)
• SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark [42.91902601376494]
  本稿では,SceMQAについて紹介する。SceMQAは,大学入学レベルでの科学的マルチモーダル質問応答のための新しいベンチマークである。 SceMQAは数学、物理学、化学、生物学などの中核的な科学分野に焦点を当てている。 複数選択と自由応答の混在を特徴とし、AIモデルの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2024-02-06T19:16:55Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。