論文の概要: TCMQA: A 38K-Question Traditional Chinese Medicine Benchmark with a Licensed-Practitioner Reference

• arxiv url: http://arxiv.org/abs/2609.33014v1
• Date: Sat, 26 Sep 2026 23:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:12:45.487465
• Title: TCMQA: A 38K-Question Traditional Chinese Medicine Benchmark with a Licensed-Practitioner Reference
• Title（参考訳）: TCMQA:38Kクエストの中国医学ベンチマーク
• Abstract要約: 我々は、中国のTCMライセンス試験から38,279の質問をオープンにベンチマークしたTCMQAを紹介します。 我々は,0.27Bから14.8Bのパラメータにまたがる9つのファミリーから29の命令調整モデルを評価する。
• 参考スコア（独自算出の注目度）: 4.049448128633759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical benchmarks for language models are built almost entirely on Western biomedicine. Traditional Chinese Medicine (TCM) is a separate system, with its own diagnostic framework and its own literature, and it remains largely unmeasured. The few TCM evaluations that exist are small, narrow, and rarely paired with a human reference. We present TCMQA, an open benchmark of 38,279 questions from Chinese TCM licensing examinations, paired with 15,151 responses from 101 licensed practitioners. We evaluate 29 instruction-tuned models from 9 families, spanning 0.27B to 14.8B parameters. Accuracy ranges over 59 points, and no model approaches saturation. Pretraining data predicts TCM ability far better than scale: a 12B Western-pretrained model reaches 39.6%, while a Chinese-pretrained model an eighth its size reaches 60.8%. Nine models exceed the practitioner majority vote of 64.9%, the best by 21.8 points, and all nine come from that same Chinese-pretrained family. Yet difficulty does not transfer between models and practitioners: accuracy is flat across practitioner-rated difficulty, item-level agreement is near zero for all 29 models, and on $8.4\%$ of items the practitioners are correct where the leading model is wrong. We release the corpus, the practitioner responses, the harness, and per-item model outputs at https://huggingface.co/datasets/TechTCM/TCMQA.
• Abstract（参考訳）: 言語モデルの医療ベンチマークは、ほぼ完全に西洋のバイオメディシンに基づいて構築されている。 伝統的な中国医学(TCM)は、独自の診断枠組みと独自の文献を持つ独立したシステムであり、ほとんど測定されていない。 存在する数少ないTCM評価は小さく、狭く、人間の参照とペアになることはめったにない。 我々は、中国のTCMライセンス試験から38,279の質問をオープンにベンチマークしたTCMQAを紹介します。 我々は9つのファミリーから29の命令調整モデルを評価し、0.27Bから14.8Bのパラメータにまたがる。 精度は59点を超え、飽和に近づくモデルはない。 プレトレーニングデータでは、TCMの能力はスケールよりもはるかに優れており、12Bの西部プレトレーニングモデルが39.6%、中国プレトレーニングモデルが8.8%に達している。 9つのモデルが64.9%、最高21.8ポイント、そして9つのモデルが同じ中国人家庭の出身である。 しかし、困難はモデルと実践者の間で伝達されない: 正確性は実践者が評価した難易度にわたって平坦であり、アイテムレベルの合意は29モデルすべてでゼロに近い。 我々は、コーパス、実践者対応、ハーネス、および各イテムモデルの出力をhttps://huggingface.co/datasets/TechTCM/TCMQAでリリースします。

関連論文リスト

• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning [54.30630356786752]
  ReasonMedは、これまでで最大の医療推論データセットで、370万の高品質な例がある。 マルチエージェント生成、検証、改善プロセスを通じて構築される。 ReasonMedを用いて、簡潔な答えの要約と詳細なCoT推論を統合することで、最も堅牢な微調整結果が得られる。
  論文  参考訳（メタデータ） (2025-06-11T08:36:55Z)
• Disentangling Reasoning and Knowledge in Medical Large Language Models [23.401484250342158]
  大きな言語モデルにおける医学的推論は、臨床医の診断的思考をエミュレートすることを目的としている。 MedQA-USMLE、MedMCQA、PubMedQAといった現在のベンチマークでは、推論と事実のリコールが混在していることが多い。 バイオメディカルモデル(HuatuoGPT-o1, MedReason, m1)と一般ドメインモデル(DeepSeek-R1, o4-mini, Qwen3)を評価する。 我々は、推論重大例に基づいて微調整と強化学習を用いてBioMed-R1を訓練する。
  論文  参考訳（メタデータ） (2025-05-16T17:16:27Z)
• Eir: Thai Medical Large Language Models [0.0]
  Eir-8Bは、タイ語での医療タスクの処理精度を高めるために設計された80億のパラメータを持つ大規模な言語モデルである。 人間の評価は、モデルがケア標準に準拠し、偏見のない回答を提供することを保証するために行われた。 モデルは病院の内部ネットワーク内に展開され、高いセキュリティと高速な処理速度が保証される。
  論文  参考訳（メタデータ） (2024-09-13T04:06:00Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Measuring Massive Multitask Chinese Understanding [16.41629318344805]
  この試験は、医学、法学、心理学、教育の4つの主要な領域を含む。 ゼロショット設定における最高のパフォーマンスモデルは、最悪のパフォーマンスモデルよりも平均18.6ポイント向上した。 全てのモデルは法域では性能が悪く、高いゼロショット精度は0.239にしか達しなかった。
  論文  参考訳（メタデータ） (2023-04-25T16:51:53Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。