論文の概要: MedLLM: An Open Medical Language Model at the Sub-Billion Scale

• arxiv url: http://arxiv.org/abs/2607.27490v1
• Date: Wed, 29 Jul 2026 22:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.327603
• Title: MedLLM: An Open Medical Language Model at the Sub-Billion Scale
• Title（参考訳）: MedLLM: サブビリオンスケールでのオープン医療用言語モデル
• Authors: Maxx Richard Rahman, Asim Ahmed, Mihan Mohagheghzadeh, Wolfgang Maass,
• Abstract要約: MedLLMは、完全にオープンな3相パイプラインを通してトレーニングされた、0.1Bパラメータの医療用言語モデルである。 医療ベンチマーク全体で、MedLLMはサブビリオンスケールでのみ見えるパターンを示している。 コンテキストグラウンドのQAでは、医療に適応した7Bモデルの29ドル(約2,600円)以内で、命令調整および汎用7Bベースラインを超える。 ナレッジ・リコールQAでは、臨床ヴィニネットMedMCQAのタスクフロアの近くに留まり、リコールが失敗する場所は適応ではなくモデルキャパシティであることを示す。
• 参考スコア（独自算出の注目度）: 1.5077724472763168
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open medical language models have converged on a single scale: every widely used system runs at 7B parameters or more, leaving the sub-billion regime uncharacterized. We present MedLLM, an open 0.1B-parameter medical language model trained through a fully open three-phase pipeline: general pretraining with curriculum sequence-length scheduling, domain fine-tuning on MedFineWeb, a reference-guided medical corpus we release that is selected from general web data by embedding similarity to medical question-answering (QA) data, and preference-aligned fine-tuning combining SFT with direct preference optimization (DPO). Across medical benchmarks, MedLLM shows a pattern visible only at sub-billion scale: medical competence does not degrade uniformly under compression but splits by task type. On context-grounded QA it comes within $2.9$pp of a medically adapted 7B model and surpasses the instruction-tuned and general-purpose 7B baselines; on knowledge-recall QA it stays near the task floor on clinical-vignette MedQA yet significantly exceeds every 7B and sub-7B baseline on MedMCQA, indicating that where recall fails the constraint is model capacity rather than adaptation. This dissociation is masked at 7B, where both capabilities are present, and surfaces only when capacity is scarce.
• Abstract（参考訳）: すべての広く使われているシステムは7Bパラメータ以上で動作し、サブビリオン体制は不適合のままである。 MedLLMは、完全にオープンな3段階のパイプラインを通じて訓練されたオープンな0.1Bパラメータ医療言語モデルである。MedFineWeb上のドメインファインチューニング、一般のWebデータから選択された参照誘導医療コーパス、QAデータとの類似性を埋め込み、SFTと直接優先最適化(DPO)を組み合わせた嗜好整列微調整である。 医療ベンチマークでは、MedLLMはサブビリオンスケールでのみ見えるパターンを示している。 コンテキストグラウンドドQAでは、医学的に適応した7Bモデルの2.9ドルppの範囲内にあり、命令調整された汎用7Bベースラインを超越している。知識リコールQAでは、MedMCQAの7Bおよびサブ7Bベースラインをはるかに上回っており、リコールが失敗した場合、リコールは適応ではなくモデルキャパシティであることを示している。 この解離は、両方の能力が存在する7Bで隠蔽され、容量が不足している場合にのみ表面が覆われる。

関連論文リスト

• OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models [0.9245572323448122]
  医用ビジョン言語モデルであるOpenMedQについて紹介する。 OpenMedQはPathVQA (75.9)で最先端のBLEU-1に達し、Med-PaLM Mの変種を562Bパラメータ(80倍)まで上回り、VQA-MED BLEU-1 (64.5)と最もよく報告されているVQA-MED BLEU-1 (64.5)と一致する。
  論文  参考訳（メタデータ） (2026-06-11T06:24:44Z)
• Evaluating Small Open LLMs for Medical Question Answering: A Practical Framework [0.0]
  医学質問応答における大規模言語モデル(LLM)は、平均的精度以上の要求を満たす。 Redditのようなオンライン健康コミュニティは、何百万人ものユーザーにとって、医療情報の主要な情報源となっている。 本稿では,小規模かつローカルにデプロイ可能なオープンウェイトLCMを医療質問応答上で評価するための,実用的なオープンソース評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-12T08:56:15Z)
• MedGPT-oss: Training a General-Purpose Vision-Language Model for Biomedicine [38.06252990946545]
  MEDGPT-OSSはオープンウェイトで20Bパラメータの視覚言語モデルであり、臨床AIのオープンな研究を促進するために設計されている。 MEDGPT-OSSは、アーキテクチャの複雑さに頼るのではなく、最適化された3段階のトレーニングカリキュラムを通じて、GPT-oss言語バックボーンと視覚的なフロントエンドをペアリングする。 アウト・オブ・ディストリビューションのマルチモーダル推論や複雑なテキストのみの臨床タスクにおいて、より大きなオープン医療モデルを上回る成果を上げている。
  論文  参考訳（メタデータ） (2026-03-01T00:06:43Z)
• MedMO: Grounding and Understanding Multimodal Large Language Model for Medical Images [25.29568841502814]
  一般化MLLMアーキテクチャ上に構築された医療基盤モデルであるMedMOを紹介する。 VQAベンチマークでは、MedMOはベースラインよりも平均精度が+13.7%向上した。 医療報告生成において、MedMOは意味的および臨床的正確性の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2026-02-06T18:59:59Z)
• MedQARo: A Large-Scale Benchmark for Medical Question Answering in Romanian [50.767415194856135]
  ルーマニア初の大規模医療QAベンチマークであるMedQARoを紹介する。 がん患者に関連する102,646のQAペアからなる高品質で大規模なデータセットを構築した。
  論文  参考訳（メタデータ） (2025-08-22T13:48:37Z)
• MedGemma Technical Report [75.88152277443179]
  MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。 MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。 また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:01:44Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。