論文の概要: Zero-shot Performance of Generative AI in Brazilian Portuguese Medical Exam

• arxiv url: http://arxiv.org/abs/2507.19885v1
• Date: Sat, 26 Jul 2025 09:34:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 16:23:56.371842
• Title: Zero-shot Performance of Generative AI in Brazilian Portuguese Medical Exam
• Title（参考訳）: ブラジルの医療機関におけるジェネレーティブAIのゼロショット性能
• Authors: Cesar Augusto Madid Truyts, Amanda Gomes Rabelo, Gabriel Mesquita de Souza, Daniel Scaldaferri Lages, Adriano Jose Pereira, Uri Adrian Prync Flato, Eduardo Pontes dos Reis, Joaquim Edson Vieira, Paulo Sergio Panse Silveira, Edson Amaro Junior,
• Abstract要約: MLLM(Large Language Models)とMLLM(Multimodal Large Language Models)は、自然言語処理と医療応用において顕著な進歩を遂げている。 本研究は,6台のLPM (GPT-4.0 Turbo, LLaMA-3-8B, LLaMA-3-70B, Mixtral 8x7B Instruct, Titan Text G1-Express, Command R+) と4台のMLLM (Claude-3.5-Sonnet, Claude-3-Opus, Claude-3-Sonnet, Claude-3-Haiku) を用いて,ブラジルの音声ポータルで書かれた質問に答える能力について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Artificial intelligence (AI) has shown the potential to revolutionize healthcare by improving diagnostic accuracy, optimizing workflows, and personalizing treatment plans. Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) have achieved notable advancements in natural language processing and medical applications. However, the evaluation of these models has focused predominantly on the English language, leading to potential biases in their performance across different languages. This study investigates the capability of six LLMs (GPT-4.0 Turbo, LLaMA-3-8B, LLaMA-3-70B, Mixtral 8x7B Instruct, Titan Text G1-Express, and Command R+) and four MLLMs (Claude-3.5-Sonnet, Claude-3-Opus, Claude-3-Sonnet, and Claude-3-Haiku) to answer questions written in Brazilian spoken portuguese from the medical residency entrance exam of the Hospital das Cl\'inicas da Faculdade de Medicina da Universidade de S\~ao Paulo (HCFMUSP) - the largest health complex in South America. The performance of the models was benchmarked against human candidates, analyzing accuracy, processing time, and coherence of the generated explanations. The results show that while some models, particularly Claude-3.5-Sonnet and Claude-3-Opus, achieved accuracy levels comparable to human candidates, performance gaps persist, particularly in multimodal questions requiring image interpretation. Furthermore, the study highlights language disparities, emphasizing the need for further fine-tuning and data set augmentation for non-English medical AI applications. Our findings reinforce the importance of evaluating generative AI in various linguistic and clinical settings to ensure a fair and reliable deployment in healthcare. Future research should explore improved training methodologies, improved multimodal reasoning, and real-world clinical integration of AI-driven medical assistance.
• Abstract（参考訳）: 人工知能(AI)は、診断精度を改善し、ワークフローを最適化し、治療計画をパーソナライズすることで、医療に革命をもたらす可能性を示している。 MLLM(Large Language Models)とMLLM(Multimodal Large Language Models)は、自然言語処理と医療応用において顕著な進歩を遂げている。 しかしながら、これらのモデルの評価は、主に英語に焦点を合わせており、異なる言語間でのパフォーマンスに潜在的なバイアスをもたらしている。 本研究は,6台のLPM (GPT-4.0 Turbo, LLaMA-3-8B, LLaMA-3-70B, Mixtral 8x7B Instruct, Titan Text G1-Express, Command R+) と4台のMLLM (Claude-3.5-Sonnet, Claude-3-Opus, Claude-3-Sonnet, Claude-3-Haiku) を用いて,ブラジルの医療用口蓋口蓋に記載された質問に回答する能力について検討した。 モデルの性能を人間候補に対してベンチマークし、精度、処理時間、生成した説明の一貫性を分析した。 結果は、特にClaude-3.5-SonnetとClaude-3-Opusは、人間の候補に匹敵する精度を達成しているが、特に画像解釈を必要とするマルチモーダル質問では、性能差が持続していることを示している。 さらに、この研究は言語の違いを強調し、英語以外の医療AIアプリケーションのためのさらなる微調整とデータセット強化の必要性を強調している。 本研究は,医療の公平かつ確実な展開を確保するため,様々な言語的,臨床的環境における生成AIの評価の重要性を裏付けるものである。 今後の研究は、トレーニング方法論の改善、マルチモーダル推論の改善、AI駆動型医療支援の現実的な臨床統合を検討する。

関連論文リスト

• Bridging Language Barriers in Healthcare: A Study on Arabic LLMs [1.2006896500048552]
  本稿では,多言語理解と医学知識の両方に熟練した大規模言語モデルを開発する上での課題について考察する。 言語比率を慎重に調整した大規模モデルは、母国語の臨床課題において優れた性能を発揮することが判明した。
  論文  参考訳（メタデータ） (2025-01-16T20:24:56Z)
• A Comprehensive Evaluation of Large Language Models on Mental Illnesses in Arabic Context [0.9074663948713616]
  メンタルヘルス障害はアラブ世界で公衆衛生の懸念が高まっている。 本研究は,多様なメンタルヘルスデータセットに基づいて,8つの大言語モデル(LLM)を包括的に評価する。
  論文  参考訳（メタデータ） (2025-01-12T16:17:25Z)
• Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation [1.922611370494431]
  本研究は,ポルトガル語における医療エージェントとしての大規模言語モデル(LLM)の性能を評価する。 InternLM2モデルは、当初医療データに関するトレーニングを受けており、全体的なパフォーマンスが最高であった。 ChatBodeから派生したDrBodeモデルは、取得した医療知識を壊滅的に忘れる現象を示した。
  論文  参考訳（メタデータ） (2024-09-30T19:10:03Z)
• The Role of Language Models in Modern Healthcare: A Comprehensive Review [2.048226951354646]
  医療における大規模言語モデル(LLM)の適用は注目されている。 本稿では,言語モデルの初期から現在までの軌跡を概観する。
  論文  参考訳（メタデータ） (2024-09-25T12:15:15Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Enhancing Healthcare through Large Language Models: A Study on Medical Question Answering [13.237829215746443]
  Sentence-t5 + Mistral 7B モデルは、正確な医療回答の理解と生成に優れている。 以上の結果から,医学的文脈における高度なLCMの統合の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-08T00:35:39Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。