論文の概要: MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering

• arxiv url: http://arxiv.org/abs/2404.05590v1
• Date: Mon, 8 Apr 2024 15:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 13:55:49.109816
• Title: MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering
• Title（参考訳）: MedExpQA: 医療質問応答のための大規模言語モデルの多言語ベンチマーク
• Authors: Iñigo Alonso, Maite Oronoz, Rodrigo Agerri,
• Abstract要約: 大規模言語モデル(LLM)は、人工知能技術の発展を促進する可能性を秘めている。 本稿では,MedExpQAについて述べる。MedExpQAは,医学質問応答におけるLSMを評価するための,医学試験に基づく最初の多言語ベンチマークである。
• 参考スコア（独自算出の注目度）: 8.110978727364397
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have the potential of facilitating the development of Artificial Intelligence technology to assist medical experts for interactive decision support, which has been demonstrated by their competitive performances in Medical QA. However, while impressive, the required quality bar for medical applications remains far from being achieved. Currently, LLMs remain challenged by outdated knowledge and by their tendency to generate hallucinated content. Furthermore, most benchmarks to assess medical knowledge lack reference gold explanations which means that it is not possible to evaluate the reasoning of LLMs predictions. Finally, the situation is particularly grim if we consider benchmarking LLMs for languages other than English which remains, as far as we know, a totally neglected topic. In order to address these shortcomings, in this paper we present MedExpQA, the first multilingual benchmark based on medical exams to evaluate LLMs in Medical Question Answering. To the best of our knowledge, MedExpQA includes for the first time reference gold explanations written by medical doctors which can be leveraged to establish various gold-based upper-bounds for comparison with LLMs performance. Comprehensive multilingual experimentation using both the gold reference explanations and Retrieval Augmented Generation (RAG) approaches show that performance of LLMs still has large room for improvement, especially for languages other than English. Furthermore, and despite using state-of-the-art RAG methods, our results also demonstrate the difficulty of obtaining and integrating readily available medical knowledge that may positively impact results on downstream evaluations for Medical Question Answering. So far the benchmark is available in four languages, but we hope that this work may encourage further development to other languages.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医療専門家が対話的な意思決定支援を支援するために人工知能技術の開発を促進する可能性を秘めている。 しかし、驚くべきことに、医療応用に必要な品質基準は達成されるには程遠い。 現在、LLMは時代遅れの知識と、幻覚的コンテンツを生成する傾向に悩まされている。 さらに、医療知識を評価するためのベンチマークでは、基準金の説明が欠落しているため、LCMの予測の推論を評価できない。 最後に、私たちが知っている限りでは、完全に無視されたトピックである英語以外の言語に対するLLMのベンチマークを考えると、この状況は特に悲惨です。 これらの問題点に対処するため,本論文では,医学的質問応答におけるLSMを評価するための,医学的試験に基づく最初の多言語ベンチマークであるMedExpQAを提案する。 我々の知る限り、MedExpQAは、LLMのパフォーマンスと比較するために、様々な金ベースの上限を確立するために、医師によって書かれた金の説明を初めて参照する。 ゴールドレファレンス説明とレトリーバル拡張生成(RAG)アプローチの両方を用いた総合多言語実験により、LLMの性能は、特に英語以外の言語において、まだ大きな改善の余地があることが示されている。 さらに,最新のRAG手法を用いても,医療質問応答に対する下流評価に有意な影響を及ぼす可能性のある,手軽に利用可能な医療知識の獲得と統合の難しさも示している。 これまでのところ、ベンチマークは4つの言語で利用可能ですが、この作業によって他の言語にもさらなる開発が促進されることを願っています。

関連論文リスト

• Development and bilingual evaluation of Japanese medical large language model within reasonably low computational resources [0.0]
  本稿では,近年の7Bモデルに基づく医療適応について述べる。 日本語医学データセットに基づく英語中心ベースモデルの微調整により,両言語のスコアが向上することが判明した。
  論文  参考訳（メタデータ） (2024-09-18T08:07:37Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• Multiple Choice Questions and Large Languages Models: A Case Study with Fictional Medical Data [3.471944921180245]
  非存在腺であるGlianorexに焦点をあてた架空の医療ベンチマークを開発した。 このアプローチにより、LSMの知識をテストテイク能力から切り離すことができます。 我々は、これらの質問をゼロショット設定で、様々なオープンソース、プロプライエタリ、ドメイン固有のLCMを評価した。
  論文  参考訳（メタデータ） (2024-06-04T15:08:56Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models [56.36916128631784]
  中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。 このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。 幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
  論文  参考訳（メタデータ） (2023-12-20T07:01:49Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain [24.411904114158673]
  我々は、中国生物医学言語理解評価(CBlue)ベンチマークを大規模なプロンプトチューニングベンチマークであるPromptCBlueに再構築した。 我々のベンチマークは、幅広いバイオメディカルタスクにおいて、中国のLCMのマルチタスク能力を評価するのに適したテストベッドであり、オンラインプラットフォームである。
  論文  参考訳（メタデータ） (2023-10-22T02:20:38Z)
• Integrating UMLS Knowledge into Large Language Models for Medical Question Answering [18.06960842747575]
  大規模言語モデル(LLM)は強力なテキスト生成能力を示し、医療分野に前例のない革新をもたらした。 我々は、医療コミュニティにより良いサービスを提供することを目的として、UMLS(Unified Medical Language System)に基づく拡張LLMフレームワークを開発する。 ベンチマークモデルとしてLLaMa2-13b-chatとChatGPT-3.5を採用し、LiveQAテストセットから104の質問に対してROUGEスコアとBERTScoreを用いて自動評価を行う。
  論文  参考訳（メタデータ） (2023-10-04T12:50:26Z)
• Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries [48.48630043740588]
  ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。 我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-05-17T12:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。