論文の概要: GPT-4 passes most of the 297 written Polish Board Certification Examinations

• arxiv url: http://arxiv.org/abs/2405.01589v1
• Date: Mon, 29 Apr 2024 09:08:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 16:58:34.536657
• Title: GPT-4 passes most of the 297 written Polish Board Certification Examinations
• Title（参考訳）: GPT-4はポーランド委員会認定試験の297項目の大半をパスしている。
• Authors: Jakub Pokrywka, Jeremi Kaczmarek, Edward Gorzelańczyk,
• Abstract要約: 本研究では,ポーランド委員会認定試験(Pa'nstwowy Egzamin Specjalizacyjny, PES)における3つの生成事前学習変圧器(GPT)モデルの性能評価を行った。 GPTモデルは、特定の専門分野に関する試験において卓越した性能を示しながら、他の分野では完全に失敗するなど、大きく変化した。
• 参考スコア（独自算出の注目度）: 0.5461938536945723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Introduction: Recently, the effectiveness of Large Language Models (LLMs) has increased rapidly, allowing them to be used in a great number of applications. However, the risks posed by the generation of false information through LLMs significantly limit their applications in sensitive areas such as healthcare, highlighting the necessity for rigorous validations to determine their utility and reliability. To date, no study has extensively compared the performance of LLMs on Polish medical examinations across a broad spectrum of specialties on a very large dataset. Objectives: This study evaluated the performance of three Generative Pretrained Transformer (GPT) models on the Polish Board Certification Exam (Pa\'nstwowy Egzamin Specjalizacyjny, PES) dataset, which consists of 297 tests. Methods: We developed a software program to download and process PES exams and tested the performance of GPT models using OpenAI Application Programming Interface. Results: Our findings reveal that GPT-3.5 did not pass any of the analyzed exams. In contrast, the GPT-4 models demonstrated the capability to pass the majority of the exams evaluated, with the most recent model, gpt-4-0125, successfully passing 222 (75%) of them. The performance of the GPT models varied significantly, displaying excellence in exams related to certain specialties while completely failing others. Conclusions: The significant progress and impressive performance of LLM models hold great promise for the increased application of AI in the field of medicine in Poland. For instance, this advancement could lead to the development of AI-based medical assistants for healthcare professionals, enhancing the efficiency and accuracy of medical services.
• Abstract（参考訳）: 導入:最近、LLM(Large Language Models)の有効性が急速に向上し、多数のアプリケーションで使用できるようになった。 しかし、LSMによる偽情報の発生によって引き起こされるリスクは、医療などのセンシティブな分野における適用を著しく制限し、その実用性と信頼性を決定するための厳密な検証の必要性を強調している。 これまで、ポーランドの医学検査におけるLLMの性能を、非常に大規模なデータセット上で幅広い専門分野にわたって広範囲に比較する研究は行われていない。 目的: 本研究はポーランド委員会認定試験(Pa\'nstwowy Egzamin Specjalizacyjny, PES)における3つの生成事前学習変圧器(GPT)モデルの性能評価を行った。 方法: PES試験をダウンロード・処理するソフトウェアプログラムを開発し,OpenAIアプリケーションプログラミングインタフェースを用いてGPTモデルの性能を検証した。 結果: GPT-3.5はいずれの試験にも合格しなかった。 対照的に、GPT-4モデルは試験の過半数をパスする能力を示し、最新のモデルであるgpt-4-0125は222 (75%) をパスした。 GPTモデルの性能は著しく変化し、特定の専門性に関する試験において卓越した成績を示したが、他のモデルは完全に失敗した。 結論: LLMモデルの顕著な進歩と印象的な性能は、ポーランドの医学分野におけるAIの適用拡大を大いに約束している。 例えば、この進歩は、医療専門家のためのAIベースの医療アシスタントの開発につながり、医療サービスの効率性と正確性を高める可能性がある。

関連論文リスト

• DSBench: How Far Are Data Science Agents to Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• Are Large Language Models True Healthcare Jacks-of-All-Trades? Benchmarking Across Health Professions Beyond Physician Exams [32.77551245372691]
  医療におけるLLM(Large Language Models)の評価のための既存のベンチマークは、主に医師に焦点を当てている。 従来の中国語における大規模医療知識ベンチマークであるEMPEC(Inspecters for Medical Personnel in Chinese)を紹介する。 EMPECは124人の被験者と20の医療専門家からなる157,803の試験質問からなる。
  論文  参考訳（メタデータ） (2024-06-17T08:40:36Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Distilling Large Language Models for Matching Patients to Clinical Trials [3.4068841624198942]
  近年の大規模言語モデル(LLMs)の成功は、医療分野における彼らの採用の道を開いた。 本研究は,患者と臨床の整合性に対するプロプライエタリ (GPT-3.5, GPT-4) とオープンソース LLM (LLAMA 7B, 13B, 70B) の併用性について,最初の系統的検討を行った。 この制限された合成データセットを微調整したオープンソースのLLMは、プロプライエタリなデータセットと同等の性能を示した。
  論文  参考訳（メタデータ） (2023-12-15T17:11:07Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [61.41790586411816]
  HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。 さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
  論文  参考訳（メタデータ） (2023-11-16T10:56:24Z)
• Large Language Models Streamline Automated Machine Learning for Clinical Studies [2.4889420816783963]
  ChatGPT Advanced Data Analysis (ADA)は、機械学習解析を効率的に行うためのGPT-4の拡張である。 ADAは、臨床結果を予測するために、元の研究のトレーニングデータに基づいて、最先端のMLモデルを自律的に開発した。 興味深いことに、ChatGPT ADAで製作されたMLモデルは、しばしばそのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-27T14:28:38Z)
• Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
  大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-08-21T01:32:45Z)
• Capabilities of GPT-4 on Medical Challenge Problems [23.399857819743158]
  GPT-4は、訓練や臨床課題の解決を通じて医療上の問題に特化しない汎用モデルである。 本稿では,GPT-4の総合的な評価を医学的能力試験とベンチマーク・データセットで行う。
  論文  参考訳（メタデータ） (2023-03-20T16:18:38Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。