論文の概要: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1

• arxiv url: http://arxiv.org/abs/2505.00025v1
• Date: Fri, 25 Apr 2025 14:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.102851
• Title: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1
• Title（参考訳）: ディープシークR1に基づく医療用垂直大言語モデルの構成法
• Authors: Mingda Zhang, Jianglong Qin,
• Abstract要約: 本稿では,効率的な医療用垂直大モデルアーキテクチャを提案する。 知識獲得レベルでは、DeepSeek-R1-Distill-70B教師モデルからDeepSeek-R1-Distill-7B学生モデルへ知識伝達パイプラインを設計する。 モデル圧縮レベルでは、4ビットの重み量子化を含む圧縮技術が実装され、医用推論のコア表現が保存される。
• 参考スコア（独自算出の注目度）: 6.589206192038366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, despite foundation models like DeepSeek-R1 and ChatGPT demonstrating significant capabilities in general tasks, professional knowledge barriers, computational resource requirements, and deployment environment limitations have severely hindered their application in actual medical scenarios. Addressing these challenges, this paper proposes an efficient lightweight medical vertical large language model architecture method, systematically solving the lightweight problem of medical large models from three dimensions: knowledge acquisition, model compression, and computational optimization. At the knowledge acquisition level, a knowledge transfer pipeline is designed from the fine-tuned DeepSeek-R1-Distill-70B teacher model to the DeepSeek-R1-Distill-7B student model, and Low-Rank Adaptation (LoRA) technology is adopted to precisely adjust key attention layers. At the model compression level, compression techniques including 4-bit weight quantization are implemented while preserving the core representation ability for medical reasoning. At the computational optimization level, inference optimization techniques such as Flash Attention acceleration and continuous batching are integrated, and a professional prompt template system is constructed to adapt to different types of medical problems. Experimental results on medical question-answering datasets show that the method proposed in this paper maintains professional accuracy while reducing memory consumption by 64.7\% and inference latency by 12.4\%, providing an effective solution for the application of medical large models in resource-constrained environments such as edge computing devices.
• Abstract（参考訳）: 近年では、DeepSeek-R1やChatGPTといった基礎モデルが一般的なタスク、専門知識障壁、計算リソース要件、デプロイメント環境の制限などにおいて重要な機能を示しているにもかかわらず、実際の医療シナリオにおけるアプリケーションの障害となっている。 これらの課題に対処するため,本研究では,知識獲得,モデル圧縮,計算最適化の3次元から,医療用大規模モデルの軽量問題を体系的に解決する,効率的な医療用垂直型大規模言語モデルアーキテクチャ手法を提案する。 知識獲得レベルでは、微調整されたDeepSeek-R1-Distill-70B教師モデルからDeepSeek-R1-Distill-7B学生モデルに知識伝達パイプラインを設計し、キーアテンション層を正確に調整するためにローランド適応(LoRA)技術を採用する。 モデル圧縮レベルでは、医用推論のコア表現能力を保ちつつ、4ビットの重み量子化を含む圧縮技術を実装する。 計算最適化レベルでは,Flashアテンションアクセラレーションや連続バッチ処理などの推論最適化技術が統合され,様々な種類の医療問題に適応するためにプロのプロンプトテンプレートシステムが構築される。 本稿では, 医療用問合せデータセットを用いて, メモリ消費を64.7 %削減し, 推論遅延を12.4 %削減し, エッジコンピューティング装置などの資源制約環境における医療用大規模モデルの適用に有効なソリューションを提供する。

関連論文リスト

• MedGemma Technical Report [75.88152277443179]
  MedGemmaは、Gemma 3 4Bと27Bをベースとした医療ビジョン言語基盤モデルの集合体である。 MedGemmaは、画像とテキストの高度な医学的理解と推論を実証する。 また、SigLIPから派生した医用目視エンコーダであるMedSigLIPを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:01:44Z)
• Gazal-R1: Achieving State-of-the-Art Medical Reasoning with Parameter-Efficient Two-Stage Training [0.0]
  医学推論における最先端性能を実現する32ビリオンパラメータ言語モデルであるGazal-R1を提案する。 我々のモデルは、中規模のモデルが専門分野においてはるかに大きなモデルよりも優れた性能を発揮することを実証している。 Gazal-R1は、MedQAで87.1%、MMLU Proで81.6%、PubMedQAで79.6%、医療ベンチマークで例外的なパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-06-18T09:44:21Z)
• Lightweight Clinical Decision Support System using QLoRA-Fine-Tuned LLMs and Retrieval-Augmented Generation [0.0]
  本研究では,医療におけるLarge Language Models(LLM)の適用について検討する。 我々は、病院固有のデータと統合された検索型RAG(Retrieval-Augmented Generation)による医療意思決定支援と、量子化低ランク適応(QLoRA)を用いた微調整に焦点を当てる。 我々は、患者のプライバシ、データセキュリティ、厳格な臨床検証の必要性、およびそのようなシステムを現実の医療に組み込むための実践的な課題など、倫理的な配慮に目を向ける。
  論文  参考訳（メタデータ） (2025-05-06T10:31:54Z)
• EMRModel: A Large Language Model for Extracting Medical Consultation Dialogues into Structured Medical Records [11.013242961199204]
  本稿では,LoRAに基づくファインチューニングとコードスタイルのプロンプト設計を統合した新しいアプローチであるEMRModelを提案する。 我々は,詳細な注釈付き医療相談対話の高品質で現実的なデータセットを構築した。 実験の結果、EMRModelはF1スコア88.1%を獲得し、標準の事前訓練モデルよりも49.5%向上した。
  論文  参考訳（メタデータ） (2025-04-23T06:17:55Z)
• Knowledge Distillation: Enhancing Neural Network Compression with Integrated Gradients [0.0]
  本稿では,知識蒸留(KD)と統合勾配(IG)を併用した機械学習フレームワークを提案する。 本稿では,教師モデルから事前計算されたIGマップを訓練画像上にオーバーレイして,コンパクトな学生モデルを重要な特徴表現へ導く,新たなデータ拡張戦略を提案する。 CIFAR-10の実験は,本手法の有効性を実証している: MobileNet-V2 教師の4.1倍圧縮した学生モデルでは,標準の 91.4% と従来の KD アプローチを上回り,分類精度92.5% を達成し,推論遅延を 140 ms から 13 ms-a 10fold に低減した。
  論文  参考訳（メタデータ） (2025-03-17T10:07:50Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
  FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。 FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2024-08-17T15:18:56Z)
• Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
  バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。 我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-12T22:05:01Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine [89.46836590149883]
  本研究は, GPT-4の医学的課題評価における能力について, 専門訓練の欠如による先行研究に基づくものである。 イノベーションを促進することで、より深い専門能力が解放され、GPT-4が医学ベンチマークの先行結果に容易に勝っていることが分かる。 Medpromptを使用すると、GPT-4はMultiMedQAスイートのベンチマークデータセットの9つすべてに対して最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-11-28T03:16:12Z)
• Sculpting Efficiency: Pruning Medical Imaging Models for On-Device Inference [13.403419873964422]
  我々は、事前の作業から最適に設定されたMLモデルにおいて、過剰な運用上の複雑さを強調した。 その結果,圧縮速度は1148倍であり,品質の低下は最小限であった。 我々は、臨床研究者がより迅速に、よりリアルな使用に適したモデルを開発するための合理化の今後の研究の道を考える。
  論文  参考訳（メタデータ） (2023-09-10T17:34:14Z)
• An Evaluation of Lightweight Deep Learning Techniques in Medical Imaging for High Precision COVID-19 Diagnostics [0.0]
  決定支援システムは、画像の物理的検査に固有の課題を緩和する。 ほとんどのディープラーニングアルゴリズムは、リソース制約のあるデバイスの実装には適していない。 本稿では,MobileNetV2モデルを用いた新型コロナウイルス検出のための軽量深層学習手法の開発と評価について述べる。
  論文  参考訳（メタデータ） (2023-05-30T13:14:03Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Demystifying Deep Learning Models for Retinal OCT Disease Classification using Explainable AI [0.6117371161379209]
  様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。 これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。 本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-06T13:54:07Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。