論文の概要: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1

• arxiv url: http://arxiv.org/abs/2505.00025v2
• Date: Tue, 22 Jul 2025 14:26:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 15:16:11.150369
• Title: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1
• Title（参考訳）: ディープシークR1に基づく医療用垂直大言語モデルの構成法
• Authors: Mingda Zhang, Jianglong Qin,
• Abstract要約: 本稿では,知識獲得,モデル圧縮,計算強化といった課題に対処する,軽量な医療用大規模言語モデルアーキテクチャを提案する。 我々は,Low-Rank Adaptation (LoRA) を用いて,DeepSeek-R1-Distill-70BからDeepSeek-R1-Distill-7Bへの知識伝達パイプラインを設計した。 提案手法では,USMLEでは92.1%の精度を維持しながら,メモリ消費を64.7%削減し,12.4%のレイテンシをベースライン推論モデルと比較した。
• 参考スコア（独自算出の注目度）: 6.589206192038366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant advances in foundation models like DeepSeek-R1 and ChatGPT, their deployment in medical settings faces critical challenges including computational requirements and professional knowledge barriers. This paper presents an efficient lightweight medical large language model architecture that systematically addresses these challenges through three-dimensional optimization: knowledge acquisition, model compression, and computational enhancement. We design a knowledge transfer pipeline from DeepSeek-R1-Distill-70B to DeepSeek-R1-Distill-7B using Low-Rank Adaptation (LoRA) for precise medical knowledge retention. Through 4-bit quantization and mixed-precision strategies, we achieve substantial model compression while preserving medical reasoning capabilities. The inference framework incorporates Flash Attention acceleration and continuous batching, complemented by specialized prompt templates for diverse medical queries. Experimental evaluation on medical benchmarks demonstrates that our approach maintains 92.1% accuracy on USMLE examinations while reducing memory consumption by 64.7% and inference latency by 12.4% compared to baseline models. This work provides a practical solution for deploying advanced language models in resource-constrained medical environments, enabling broader accessibility of AI-assisted healthcare.
• Abstract（参考訳）: DeepSeek-R1やChatGPTといった基盤モデルの大幅な進歩にもかかわらず、彼らの医療環境への展開は、計算要求や専門知識障壁といった重要な課題に直面している。 本稿では,知識獲得,モデル圧縮,計算強化という3次元最適化によって,これらの課題を体系的に解決する,効率的な医療用大規模言語モデルアーキテクチャを提案する。 我々は,Low-Rank Adaptation (LoRA) を用いて,DeepSeek-R1-Distill-70BからDeepSeek-R1-Distill-7Bへの知識伝達パイプラインを設計した。 4ビットの量子化と混合精度戦略により,医学的推論能力を維持しつつ,実質的なモデル圧縮を実現する。 推論フレームワークにはFlashのアテンションアクセラレーションと継続的バッチ処理が含まれており、さまざまな医療クエリのための特別なプロンプトテンプレートによって補完される。 医用ベンチマーク実験の結果,USMLE検査では92.1%の精度を維持しつつ,64.7%のメモリ使用率,12.4%の推論遅延を基準モデルと比較した。 この作業は、リソース制約のある医療環境に高度な言語モデルをデプロイするための実用的なソリューションを提供する。

関連論文リスト

• MedGemma Technical Report [75.88152277443179]
  MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。 MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。 また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:01:44Z)
• Gazal-R1: Achieving State-of-the-Art Medical Reasoning with Parameter-Efficient Two-Stage Training [0.0]
  医学推論における最先端性能を実現する32ビリオンパラメータ言語モデルであるGazal-R1を提案する。 我々のモデルは、中規模のモデルが専門分野においてはるかに大きなモデルよりも優れた性能を発揮することを実証している。 Gazal-R1は、MedQAで87.1%、MMLU Proで81.6%、PubMedQAで79.6%、医療ベンチマークで例外的なパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-06-18T09:44:21Z)
• Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation [0.0]
  本研究では,医療におけるLarge Language Models(LLM)の適用について検討する。 我々は、病院固有のデータと統合された検索型RAG(Retrieval-Augmented Generation)による医療意思決定支援と、量子化低ランク適応(QLoRA)を用いた微調整に焦点を当てる。 我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療に組み込むための実践的な課題など、倫理的な配慮に目を向ける。
  論文  参考訳（メタデータ） (2025-05-06T10:31:54Z)
• EMRModel: A Large Language Model for Extracting Medical Consultation Dialogues into Structured Medical Records [11.013242961199204]
  本稿では,LoRAに基づくファインチューニングとコードスタイルのプロンプト設計を統合した新しいアプローチであるEMRModelを提案する。 我々は,詳細な注釈付き医療相談対話の高品質で現実的なデータセットを構築した。 実験の結果、EMRModelはF1スコア88.1%を獲得し、標準の事前訓練モデルよりも49.5%向上した。
  論文  参考訳（メタデータ） (2025-04-23T06:17:55Z)
• Knowledge Distillation: Enhancing Neural Network Compression with Integrated Gradients [0.0]
  本稿では,知識蒸留(KD)と統合勾配(IG)を併用した機械学習フレームワークを提案する。 本稿では,教師モデルから事前計算されたIGマップを訓練画像上にオーバーレイして,コンパクトな学生モデルを重要な特徴表現へ導く,新たなデータ拡張戦略を提案する。 CIFAR-10の実験は,本手法の有効性を実証している: MobileNet-V2 教師の4.1倍圧縮した学生モデルでは,標準の 91.4% と従来の KD アプローチを上回り,分類精度92.5% を達成し,推論遅延を 140 ms から 13 ms-a 10fold に低減した。
  論文  参考訳（メタデータ） (2025-03-17T10:07:50Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
  FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。 FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2024-08-17T15:18:56Z)
• Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
  バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。 我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-12T22:05:01Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• Sculpting Efficiency: Pruning Medical Imaging Models for On-Device Inference [13.403419873964422]
  我々は、事前の作業から最適に設定されたMLモデルにおいて、過剰な運用上の複雑さを強調した。 その結果,圧縮速度は1148倍であり,品質の低下は最小限であった。 我々は、臨床研究者がより迅速に、よりリアルな使用に適したモデルを開発するための合理化の今後の研究の道を考える。
  論文  参考訳（メタデータ） (2023-09-10T17:34:14Z)
• An Evaluation of Lightweight Deep Learning Techniques in Medical Imaging for High Precision COVID-19 Diagnostics [0.0]
  決定支援システムは、画像の物理的検査に固有の課題を緩和する。 ほとんどのディープラーニングアルゴリズムは、リソース制約のあるデバイスの実装には適していない。 本稿では,MobileNetV2モデルを用いた新型コロナウイルス検出のための軽量深層学習手法の開発と評価について述べる。
  論文  参考訳（メタデータ） (2023-05-30T13:14:03Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Demystifying Deep Learning Models for Retinal OCT Disease Classification using Explainable AI [0.6117371161379209]
  様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。 これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。 本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-06T13:54:07Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。