論文の概要: MedPsy: State-of-the-Art Small Medical Language Models for Efficient Edge Deployment
- arxiv url: http://arxiv.org/abs/2611.02011v1
- Date: Sun, 01 Nov 2026 15:52:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.519982
- Title: MedPsy: State-of-the-Art Small Medical Language Models for Efficient Edge Deployment
- Title(参考訳): MedPsy: 効率的なエッジデプロイメントのための最先端の小さな医療用言語モデル
- Abstract要約: We present MedPsy, a family of text-only 1.7B and 4B medical language model designed for edge deployment。
われわれのレシピは、生物学、医学、健康種の合成医療データパイプラインと、235Bの医学専門のLLM教師のチェーン・オブ・シント・ターゲットを組み合わせたものだ。
- 参考スコア(独自算出の注目度): 39.56619111519502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical language models promise expert clinical support, but the strongest open-source LLMs remain too large for private edge-device deployment, while compact medical models still trail substantially on knowledge-intensive and real-world healthcare tasks. Reasoning models that fit edge memory budgets can produce long reasoning traces, increasing sequential decoding, end-to-end latency, energy consumption, and KV-cache memory pressure. We present MedPsy, a family of text-only 1.7B and 4B medical language models designed for edge deployment, targeting this accuracy-generation-efficiency trade-off. Our recipe combines a synthetic medical data pipeline over biology, medicine, and health seeds with chain-of-thought targets from a 235B medical-focused LLM teacher; a four-stage post-training curriculum comprising two SFT stages followed by two RL stages with hard-sample mining; and an edge deployment evaluation spanning multiple GGUF quantization variants and real-device inference on laptop and smartphone hardware. On seven closed-ended medical benchmarks, MedPsy-4B surpasses MedGemma-1.5-4B by 19.34 points and matches MedGemma-27B while being 6.75x smaller; MedPsy-1.7B outperforms MedGemma-1.5-4B by 11.42 points despite being less than half its size. On HealthBench-Hard, MedPsy-4B surpasses MedGemma-27B by 15.33 points, while MedPsy-1.7B surpasses it by 11.66 points despite being ~16x smaller. Beyond accuracy, MedPsy reduces average response length by 1.7x (1.7B) and 3.2x (4B) versus its Qwen3 backbones, while Q4_K_M quantization preserves the aggregate score within 1 point of BF16 with ~69% lower disk footprint. In real-device inference, MedPsy-4B's shorter generations translate into 75% lower median end-to-end latency and estimated energy per answer than its Qwen3 backbone at matched quantization, while peak RAM remains below 5 GB across our tested laptop and smartphone configurations.
- Abstract(参考訳): 医療言語モデルは、専門的な臨床サポートを約束するが、オープンソースの最強のLCMは、プライベートなエッジデバイス展開には大きすぎる。
エッジメモリ予算に適合する推論モデルは、シーケンシャルデコード、エンドツーエンドのレイテンシ、エネルギー消費、KVキャッシュメモリプレッシャーを増大させる、長い推論トレースを生成することができる。
我々は、エッジデプロイメント用に設計されたテキストのみの1.7Bおよび4B医療用言語モデルのファミリーであるMedPsyについて紹介する。
本手法は, 生物, 医療, 健康種子の合成医療データパイプラインと, 235B の医療中心の LLM 教師の連鎖目標, 2 つの SFT ステージと2 つの RL ステージとハードサンプルマイニング, ラップトップおよびスマートフォンハードウェア上の複数の GGUF 量子化変種および実デバイス推論にまたがるエッジ展開評価の4段階後学習カリキュラムを組み合わせたものである。
7つの閉じた医療ベンチマークで、MedPsy-4BはMedGemma-1.5-4Bを19.34ポイント上回り、MedGemma-27Bと6.75倍小さいが、MedPsy-1.7BはMedGemma-1.5-4Bを11.42ポイント上回っている。
HealthBench-Hardでは、MedPsy-4BはMedGemma-27Bを15.33ポイント上回り、MedPsy-1.7Bは16倍小さいにもかかわらず11.66ポイント上回る。
MedPsyはQwen3のバックボーンに対して平均応答長を1.7x (1.7B) と3.2x (4B) に減らし、Q4_K_M量子化はBF16の1ポイント以内のスコアを約69%低いディスクフットプリントで保持する。
実デバイス推論では、MedPsy-4Bの短い世代は、テスト済みのラップトップとスマートフォンの構成でピークRAMが5GB以下であるのに対して、Qwen3のバックボーンよりも75%低い中央値のエンドツーエンドレイテンシと推定エネルギーに変換される。
関連論文リスト
- MedLLM: An Open Medical Language Model at the Sub-Billion Scale [1.5077724472763168]
MedLLMは、完全にオープンな3相パイプラインを通してトレーニングされた、0.1Bパラメータの医療用言語モデルである。
医療ベンチマーク全体で、MedLLMはサブビリオンスケールでのみ見えるパターンを示している。
コンテキストグラウンドのQAでは、医療に適応した7Bモデルの29ドル(約2,600円)以内で、命令調整および汎用7Bベースラインを超える。
ナレッジ・リコールQAでは、臨床ヴィニネットMedMCQAのタスクフロアの近くに留まり、リコールが失敗する場所は適応ではなくモデルキャパシティであることを示す。
論文 参考訳(メタデータ) (2026-07-29T22:10:40Z) - Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding [112.46150793476603]
透明で汎用的な医用ビジョンランゲージモデル(VLM)であるHulu-Medを紹介する。
Hulu-Medは1670万サンプルのキュレートされたコーパスで訓練されており、12の解剖学的システムと14の医用画像モダリティにまたがっている。
Hulu-Medは、30ベンチマーク中27ベンチマークで既存のオープンソースモデルを上回っ、16ベンチマークでGPT-4oなどのプロプライエタリシステムを上回っている。
論文 参考訳(メタデータ) (2025-10-09T17:06:42Z) - MedGemma Technical Report [75.88152277443179]
MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。
MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。
また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
論文 参考訳(メタデータ) (2025-07-07T17:01:44Z) - Enabling On-Device Medical AI Assistants via Input-Driven Saliency Adaptation [1.2338220374261344]
大規模言語モデル(LLM)は、医療シナリオに重大な影響を与えるが、エッジデバイスなどのリソース制約のあるリアルタイム環境へのデプロイには、違法に大きいままである。
汎用圧縮フレームワークによって最適化された新しい医療アシスタントシステムを導入し,LLMを専門分野への展開に適したものにする。
ドメイン固有データに対するニューロンの塩分濃度を計測することにより、無関係なニューロンを積極的にプーンし、性能を保ちながらモデルサイズを小さくすることができる。
論文 参考訳(メタデータ) (2025-06-07T01:37:42Z) - Capabilities of Gemini Models in Medicine [100.60391771032887]
医療専門のマルチモーダルモデルであるMed-Geminiを紹介する。
メドジェニーニを14の医療ベンチマークで評価し,その内10に新たな最先端(SoTA)性能を確立した。
我々の結果は、Med-Geminiの可能性を示唆する証拠を提供するが、より厳密な評価は実世界の展開に先立って重要である。
論文 参考訳(メタデータ) (2024-04-29T04:11:28Z) - Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。
我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。
Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
論文 参考訳(メタデータ) (2024-03-30T14:09:00Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。