論文の概要: Multiple Choice Questions and Large Languages Models: A Case Study with Fictional Medical Data

• arxiv url: http://arxiv.org/abs/2406.02394v1
• Date: Tue, 4 Jun 2024 15:08:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 15:40:59.288065
• Title: Multiple Choice Questions and Large Languages Models: A Case Study with Fictional Medical Data
• Title（参考訳）: 複数の選択質問と大規模言語モデル: 医療データを用いたケーススタディ
• Authors: Maxime Griot, Jean Vanderdonckt, Demet Yuksel, Coralie Hemptinne,
• Abstract要約: 非存在腺であるGlianorexに焦点をあてた架空の医療ベンチマークを開発した。 このアプローチにより、LSMの知識をテストテイク能力から切り離すことができます。 我々は、これらの質問をゼロショット設定で、様々なオープンソース、プロプライエタリ、ドメイン固有のLCMを評価した。
• 参考スコア（独自算出の注目度）: 3.471944921180245
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) like ChatGPT demonstrate significant potential in the medical field, often evaluated using multiple-choice questions (MCQs) similar to those found on the USMLE. Despite their prevalence in medical education, MCQs have limitations that might be exacerbated when assessing LLMs. To evaluate the effectiveness of MCQs in assessing the performance of LLMs, we developed a fictional medical benchmark focused on a non-existent gland, the Glianorex. This approach allowed us to isolate the knowledge of the LLM from its test-taking abilities. We used GPT-4 to generate a comprehensive textbook on the Glianorex in both English and French and developed corresponding multiple-choice questions in both languages. We evaluated various open-source, proprietary, and domain-specific LLMs using these questions in a zero-shot setting. The models achieved average scores around 67%, with minor performance differences between larger and smaller models. Performance was slightly higher in English than in French. Fine-tuned medical models showed some improvement over their base versions in English but not in French. The uniformly high performance across models suggests that traditional MCQ-based benchmarks may not accurately measure LLMs' clinical knowledge and reasoning abilities, instead highlighting their pattern recognition skills. This study underscores the need for more robust evaluation methods to better assess the true capabilities of LLMs in medical contexts.
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は医療分野において有意義な可能性を示しており、USMLEと同様のマルチチョイス質問(MCQ)を用いてしばしば評価される。 医学教育が盛んであるにもかかわらず、MCQはLSMを評価する際にさらに悪化する可能性がある。 LLMの性能評価におけるMCQsの有効性を評価するために,Glianorexという非存在腺に焦点を当てた架空の医療ベンチマークを開発した。 このアプローチにより、LSMの知識を試験能力から切り離すことができました。 我々はGPT-4を用いて、英語とフランス語のGlianorexに関する総合的な教科書を作成し、両方の言語で対応する複数選択質問を開発した。 我々は、これらの質問をゼロショット設定で、様々なオープンソース、プロプライエタリ、ドメイン固有のLCMを評価した。 モデルの平均スコアは約67%で、大型モデルと小型モデルではパフォーマンスが小さかった。 パフォーマンスはフランス語よりも英語の方が若干高かった。 微調整された医療モデルは、基本版を英語で改善したが、フランス語では改善されなかった。 モデル間の均一なハイパフォーマンスは、従来のMCQベースのベンチマークがLSMの臨床的知識と推論能力を正確に測定せず、その代わりにパターン認識スキルを強調していることを示唆している。 本研究は,医学的文脈におけるLLMの真の能力を評価するために,より堅牢な評価方法の必要性を指摘する。

関連論文リスト

• Fact or Guesswork? Evaluating Large Language Model's Medical Knowledge with Structured One-Hop Judgment [108.55277188617035]
  大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし適用する能力はいまだ探索されていない。 既存の医療QAベンチマークの多くは、複雑な推論やマルチホップ推論を評価しており、LSM固有の医療知識を推論能力から切り離すことが困難である。 LLMの1ホップの医療知識を測定するために特別に設計されたデータセットであるMedical Knowledge Judgmentを紹介する。
  論文  参考訳（メタデータ） (2025-02-20T05:27:51Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• PediaBench: A Comprehensive Chinese Pediatric Dataset for Benchmarking Large Language Models [15.568564652381408]
  LLM評価のための中国初の小児科用データセットであるPediaBenchを構築した。 対象質問4,565件、主観的質問1,632件、小児疾患グループ12件。 LLMの熟練度を徹底的に評価するために、異なる難易度に基づいて総合的なスコアリング基準を採用する。
  論文  参考訳（メタデータ） (2024-12-09T08:19:28Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering [8.110978727364397]
  大規模言語モデル(LLM)は、人工知能技術の発展を促進する可能性を秘めている。 本稿では,MedExpQAについて述べる。MedExpQAは,医学質問応答におけるLSMを評価するための,医学試験に基づく最初の多言語ベンチマークである。
  論文  参考訳（メタデータ） (2024-04-08T15:03:57Z)
• LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
  我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。 本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
  論文  参考訳（メタデータ） (2024-01-02T06:29:02Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• A Comparative Study of Open-Source Large Language Models, GPT-4 and Claude 2: Multiple-Choice Test Taking in Nephrology [0.6213359027997152]
  本研究は,LLMモデルがNephSAP多重選択質問に対する正しい回答を提供する能力を評価するために行われた。 本研究の結果は将来の医療訓練や患者医療に重大な影響を与える可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T05:01:28Z)
• Evaluating Large Language Models for Radiology Natural Language Processing [68.98847776913381]
  大規模言語モデル(LLM)の台頭は、自然言語処理(NLP)分野における重要な転換点となっている。 本研究は, 放射線学報告の解釈において, 30 個の LLM を批判的に評価することにより, このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2023-07-25T17:57:18Z)
• Benchmarking Large Language Models on CMExam -- A Comprehensive Chinese Medical Exam Dataset [31.047827145874844]
  中国国立医学ライセンス試験から得られたCMExamについて紹介する。 CMExamは、標準化および客観的評価のための60K以上の多重選択質問と、オープンエンドなモデル推論評価のためのソリューション説明で構成されている。 LLMの詳細な分析のために、我々は医療専門家に、病気グループ、臨床部門、医学分野、能力領域、難易度レベルを含む5つの追加の質問点アノテーションのラベル付けを依頼した。
  論文  参考訳（メタデータ） (2023-06-05T16:48:41Z)
• Large Language Models Leverage External Knowledge to Extend Clinical Insight Beyond Language Boundaries [48.48630043740588]
  ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。 我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
  論文  参考訳（メタデータ） (2023-05-17T12:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。