論文の概要: EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2604.14306v1
• Date: Wed, 15 Apr 2026 18:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:29.976941
• Title: EuropeMedQA Study Protocol: A Multilingual, Multimodal Medical Examination Dataset for Language Model Evaluation
• Title（参考訳）: EuropeMedQA Study Protocol: 言語モデル評価のための多言語・多言語医療検査データセット
• Authors: Francesco Andrea Causio, Vittorio De Vita, Olivia Riccomi, Michele Ferramola, Federico Felizzi, Antonio Cristiano, Lorenzo De Mori, Chiara Battipaglia, Melissa Sawaya, Luigi De Angelis, Marcello Di Pumpo, Alessandra Piscitelli, Pietro Eric Risuleo, Alessia Longo, Giulia Vojvodic, Mariapia Vassalli, Bianca Destro Castaniti, Nicolò Scarsi, Manuel Del Medico,
• Abstract要約: LLM(Large Language Models)は、英語中心の医学検査において高い習熟度を示す。 本研究プロトコルでは,最初の包括的,多言語的,マルチモーダルな医療診断データセットであるEuropeMedQAの開発について述べる。
• 参考スコア（独自算出の注目度）: 25.61500041272026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Models (LLMs) have demonstrated high proficiency on English-centric medical examinations, their performance often declines when faced with non-English languages and multimodal diagnostic tasks. This study protocol describes the development of EuropeMedQA, the first comprehensive, multilingual, and multimodal medical examination dataset sourced from official regulatory exams in Italy, France, Spain, and Portugal. Following FAIR data principles and SPIRIT-AI guidelines, we describe a rigorous curation process and an automated translation pipeline for comparative analysis. We evaluate contemporary multimodal LLMs using a zero-shot, strictly constrained prompting strategy to assess cross-lingual transfer and visual reasoning. EuropeMedQA aims to provide a contamination-resistant benchmark that reflects the complexity of European clinical practices and fosters the development of more generalizable medical AI.
• Abstract（参考訳）: LLM(Large Language Models)は、英語中心の診察において高い習熟度を示してきたが、英語以外の言語やマルチモーダルな診断タスクに直面すると、その性能は低下することが多い。 本研究プロトコルは,イタリア,フランス,スペイン,ポルトガルにおける公式な規制試験から得られた,初の包括的,多言語的,マルチモーダルな医療試験データセットであるEuropeMedQAの開発について述べる。 FAIRデータ原理とSPIRIT-AIガイドラインに従うと、厳密なキュレーションプロセスと、比較分析のための自動翻訳パイプラインを記述する。 我々は,言語間移動と視覚的推論を評価するため,ゼロショット,厳密な制約付きプロンプト戦略を用いて,現代マルチモーダルLLMを評価した。 EuropeMedQAは、欧州の臨床試験の複雑さを反映し、より一般化可能な医療AIの開発を促進する汚染耐性ベンチマークを提供することを目指している。

関連論文リスト

• To Adapt or not to Adapt, Rethinking the Value of Medical Knowledge-Aware Large Language Models [0.7939766248249879]
  近年の研究では、標準医療ベンチマークにおいて、ドメイン適応型大規模言語モデル(LLM)が汎用モデルよりも一貫して優れているわけではないことが示されている。 本研究は,英語とスペイン語の多種多様な臨床質問応答課題に対する総合的および臨床的LLMの比較である。
  論文  参考訳（メタデータ） (2026-04-08T09:17:55Z)
• Grounded Multilingual Medical Reasoning for Question Answering with Large Language Models [15.135129023906138]
  本稿では,現実の医療知識に基づく多言語推論トレースを生成する手法を提案する。 我々は、ウィキペディアの医療情報に対する検索強化された世代アプローチを用いて、英語、イタリア語、スペイン語で500kのトレースを生成する。
  論文  参考訳（メタデータ） (2025-12-05T12:05:46Z)
• Polish-English medical knowledge transfer: A new benchmark and results [0.6804079979762627]
  本研究では,ポーランドの医療ライセンシングと専門化試験に基づく新しいベンチマークデータセットを提案する。 ポーランド語と英語のパラレルコーパスのサブセットを含む24,000以上の試験質問を含んでいる。 汎用・ドメイン特化・ポーランド特化モデルを含む最先端のLCMを評価し,その性能を人間医学生と比較した。
  論文  参考訳（メタデータ） (2024-11-30T19:02:34Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• DrBenchmark: A Large Language Understanding Evaluation Benchmark for French Biomedical Domain [8.246368441549967]
  我々はDrBenchmarkと呼ばれるフランスの生物医学言語理解ベンチマークを公開している。 名前付き認識、音声タグ付け、質問回答、意味的テキスト類似性、分類を含む20のタスクを含む。 一般およびバイオメディカル特化データに基づいて8つの最先端の事前訓練マスク付き言語モデル (MLM) を評価し, それらの言語間能力を評価する。
  論文  参考訳（メタデータ） (2024-02-20T23:54:02Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。