論文の概要: Labadain-MedQA: A Tetun Medical QA Dataset for Fine-Tuning and Evaluating Large Language Models

• arxiv url: http://arxiv.org/abs/2611.00935v2
• Date: Wed, 04 Nov 2026 01:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-05 20:19:46.907694
• Title: Labadain-MedQA: A Tetun Medical QA Dataset for Fine-Tuning and Evaluating Large Language Models
• Title（参考訳）: Labadain-MedQA:大規模言語モデルの微調整と評価のためのTetun Medical QAデータセット
• Abstract要約: We translate MedAlpaca's Medical Flashcards and WikiDoc patient Information collections using Gemini 2.5 Flash。 下流の実用性を評価するために,パラメータ効率細調整(PEFT)を用いてデータセット上のLlama変種を微調整し,評価した。 これらの結果は,テトン医療用QAの自動翻訳の実現可能性と,モデル性能向上におけるPEFTの有効性を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 1.1816942730023885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Advances in large language models (LLMs) have created opportunities for cross-lingual transfer of medical knowledge from high-resource to low-resource languages to support access to healthcare information. However, medical question-answering (QA) datasets for fine-tuning and evaluating LLMs remain scarce for Tetun. To address this gap, we translated MedAlpaca's Medical Flashcards and WikiDoc Patient Information collections into Tetun using Gemini 2.5 Flash, producing 39,077 medical QA pairs. Translation quality was assessed on 50 randomly sampled QA pairs (100 documents) using automatic metrics against human reference translations and evaluations by two native Tetun-speaking healthcare professionals, focusing on medical accuracy and Tetun fluency. Human translations achieved higher mean ratings than LLM-generated translations for both criteria (4.43/5 vs. 4.02/5), with statistically significant differences (Wilcoxon signed-rank test, p < 0.001). To assess downstream utility, we fine-tuned Gemma and Llama variants on the translated MedAlpaca dataset using parameter-efficient fine-tuning (PEFT) and evaluated them on 325 Tetun-translated United States Medical Licensing Examination multiple-choice questions. Gemma 4 12B fine-tuned using QLoRA achieved relative improvements in mean accuracy of 10.79% with 4-bit NormalFloat (NF4) inference and 10.42% after merging the LoRA adapters into the BF16 base model, compared with the corresponding base models. These results highlight the viability of automatic dataset translation for Tetun medical QA and the effectiveness of PEFT in enhancing model performance. The datasets, models, and evaluation resources are accessible at https://github.com/labadain/labadain-medqa to support reproducible research on Tetun medical QA and facilitate machine translation, cross lingual, and multilingual research.
• Abstract（参考訳）: 大規模言語モデル(LLM)の進歩は、医療情報へのアクセスを支援するために、高リソース言語から低リソース言語への医療知識の言語間移行の機会を生み出している。 しかし,LLMの微調整と評価を行うためのQAデータセットはテトゥーンには乏しい。 このギャップに対処するため,我々はGemini 2.5 Flashを用いてMedAlpacaの医療用フラッシュカードとWikiDocの患者情報コレクションをTetunに翻訳し,39,077組の医療用QAペアを作成した。 翻訳品質を,ヒトの基準翻訳に対する自動測定値を用いて,50対のランダムサンプリングQAペア(100文書)で評価し,テトゥーン語を話す2人のネイティブ医療専門家による評価を,医療精度とテトゥーン流度に着目した。 ヒトの翻訳は、両方の基準(4.43/5対4.02/5)でLLM生成翻訳よりも高い平均評価を達成し、統計的に有意な差(ウィルコクソン符号ランク試験、p < 0.001)を示した。 下流の実用性を評価するために,パラメータ効率細調整(PEFT)を用いて翻訳されたMedAlpacaデータセット上でGemmaとLlamaの変種を微調整し,米国医学ライセンス試験(United States Medical Licensing Examination)325項目で評価した。 QLoRAを使用して微調整されたGemma 4 12Bは、4ビットの正規フロート(NF4)推論で平均精度が10.79%、LoRAアダプタをBF16ベースモデルにマージした後に10.42%向上した。 これらの結果は,テトゥン医療用QAの自動データセット翻訳の実現可能性と,モデル性能の向上におけるPEFTの有効性を浮き彫りにした。 データセット、モデル、評価リソースはhttps://github.com/labadain/labadain-medqaでアクセスでき、Tetun医療QAの再現可能な研究を支援し、機械翻訳、クロスリンガル、多言語研究を促進する。

関連論文リスト

• PeruMedQA: Benchmarking Large Language Models (LLMs) on Peruvian Medical Exams -- Dataset Construction and Evaluation [0.6899744489931012]
  AIMS: 専門的な訓練を追求するペルーの医師が取得した医学検査から質問のデータセットを構築する。 12の医療領域にまたがる8,380の質問を含む多票質問回答データセットであるPulchuMedQAをキュレートした。 Medgemma-27b-text-it は他の全てのモデルよりも優れており、いくつかの例では90%を超える正解率を達成した。
  論文  参考訳（メタデータ） (2025-09-15T02:07:26Z)
• MedQARo: A Large-Scale Benchmark for Medical Question Answering in Romanian [50.767415194856135]
  ルーマニア初の大規模医療QAベンチマークであるMedQARoを紹介する。 がん患者に関連する102,646のQAペアからなる高品質で大規模なデータセットを構築した。
  論文  参考訳（メタデータ） (2025-08-22T13:48:37Z)
• AMQA: An Adversarial Dataset for Benchmarking Bias of LLMs in Medicine and Healthcare [26.165474297359843]
  大規模言語モデル(LLM)は、医学的診断問題において専門家レベルの精度に達している。 しかし、彼らの過ちと背後にある偏見は、命にかかわるリスクを引き起こす。 本稿では,AMQA(Adversarial Medical Question-Answering dataset)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T06:24:20Z)
• MedArabiQ: Benchmarking Large Language Models on Arabic Medical Tasks [8.379270814399431]
  本研究は、7つのアラビア医療タスクからなる新しいベンチマークデータセットであるMedArabiQを紹介する。 筆者らはまず,過去の医学試験と公開データセットを用いてデータセットを構築した。 次に、バイアス緩和を含む様々なLCM機能を評価するために、異なる修正を導入した。
  論文  参考訳（メタデータ） (2025-05-06T11:07:26Z)
• Remedy: Learning Machine Translation Evaluation from Human Preferences with Reward Modeling [4.548755617115687]
  本稿では、報酬モデリングタスクとして翻訳評価を再構成する新しいMTメトリックフレームワークであるReMedyを提案する。 ReMedyは、不完全な人間のレーティングを直接回帰するのではなく、ペアの好みデータを使って相対的な翻訳品質を学習する。 WMT22-24共有タスクの広範な実験において、ReMedyはセグメントレベルの評価とシステムレベルの評価の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-04-18T11:11:14Z)
• BiMediX: Bilingual Medical Mixture of Experts LLM [90.3257333861513]
  英語とアラビア語の両方でシームレスに相互作用するように設計された、最初のバイリンガル医療混合物であるBiMediXを紹介する。 我々のモデルは、英語とアラビア語の幅広い医学的相互作用を促進し、さらに詳細を問い合わせるマルチターンチャットを含む。 そこで我々は,高品質な翻訳を保証するために,人間の洗練を図った英語からアラビア語への半自動翻訳パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-02-20T18:59:26Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。