論文の概要: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1

• arxiv url: http://arxiv.org/abs/2505.00025v1
• Date: Fri, 25 Apr 2025 14:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.102851
• Title: A Method for the Architecture of a Medical Vertical Large Language Model Based on Deepseek R1
• Title（参考訳）: ディープシークR1に基づく医療用垂直大言語モデルの構成法
• Authors: Mingda Zhang, Jianglong Qin,
• Abstract要約: 本稿では,効率的な医療用垂直大モデルアーキテクチャを提案する。 知識獲得レベルでは、DeepSeek-R1-Distill-70B教師モデルからDeepSeek-R1-Distill-7B学生モデルへ知識伝達パイプラインを設計する。 モデル圧縮レベルでは、4ビットの重み量子化を含む圧縮技術が実装され、医用推論のコア表現が保存される。
• 参考スコア（独自算出の注目度）: 6.589206192038366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, despite foundation models like DeepSeek-R1 and ChatGPT demonstrating significant capabilities in general tasks, professional knowledge barriers, computational resource requirements, and deployment environment limitations have severely hindered their application in actual medical scenarios. Addressing these challenges, this paper proposes an efficient lightweight medical vertical large language model architecture method, systematically solving the lightweight problem of medical large models from three dimensions: knowledge acquisition, model compression, and computational optimization. At the knowledge acquisition level, a knowledge transfer pipeline is designed from the fine-tuned DeepSeek-R1-Distill-70B teacher model to the DeepSeek-R1-Distill-7B student model, and Low-Rank Adaptation (LoRA) technology is adopted to precisely adjust key attention layers. At the model compression level, compression techniques including 4-bit weight quantization are implemented while preserving the core representation ability for medical reasoning. At the computational optimization level, inference optimization techniques such as Flash Attention acceleration and continuous batching are integrated, and a professional prompt template system is constructed to adapt to different types of medical problems. Experimental results on medical question-answering datasets show that the method proposed in this paper maintains professional accuracy while reducing memory consumption by 64.7\% and inference latency by 12.4\%, providing an effective solution for the application of medical large models in resource-constrained environments such as edge computing devices.
• Abstract（参考訳）: 近年では、DeepSeek-R1やChatGPTといった基礎モデルが一般的なタスク、専門知識障壁、計算リソース要件、デプロイメント環境の制限などにおいて重要な機能を示しているにもかかわらず、実際の医療シナリオにおけるアプリケーションの障害となっている。 これらの課題に対処するため,本研究では,知識獲得,モデル圧縮,計算最適化の3次元から,医療用大規模モデルの軽量問題を体系的に解決する,効率的な医療用垂直型大規模言語モデルアーキテクチャ手法を提案する。 知識獲得レベルでは、微調整されたDeepSeek-R1-Distill-70B教師モデルからDeepSeek-R1-Distill-7B学生モデルに知識伝達パイプラインを設計し、キーアテンション層を正確に調整するためにローランド適応(LoRA)技術を採用する。 モデル圧縮レベルでは、医用推論のコア表現能力を保ちつつ、4ビットの重み量子化を含む圧縮技術を実装する。 計算最適化レベルでは,Flashアテンションアクセラレーションや連続バッチ処理などの推論最適化技術が統合され,様々な種類の医療問題に適応するためにプロのプロンプトテンプレートシステムが構築される。 本稿では, 医療用問合せデータセットを用いて, メモリ消費を64.7 %削減し, 推論遅延を12.4 %削減し, エッジコンピューティング装置などの資源制約環境における医療用大規模モデルの適用に有効なソリューションを提供する。

関連論文リスト

• Knowledge Distillation: Enhancing Neural Network Compression with Integrated Gradients [0.0]
  本稿では,知識蒸留(KD)と統合勾配(IG)を併用した機械学習フレームワークを提案する。 本稿では,教師モデルから事前計算されたIGマップを訓練画像上にオーバーレイして,コンパクトな学生モデルを重要な特徴表現へ導く,新たなデータ拡張戦略を提案する。 CIFAR-10の実験は,本手法の有効性を実証している: MobileNet-V2 教師の4.1倍圧縮した学生モデルでは,標準の 91.4% と従来の KD アプローチを上回り,分類精度92.5% を達成し,推論遅延を 140 ms から 13 ms-a 10fold に低減した。
  論文  参考訳（メタデータ） (2025-03-17T10:07:50Z)
• Pathology Image Compression with Pre-trained Autoencoders [52.208181380986524]
  デジタル病理学における全スライド画像は、記憶、伝達、計算効率の面で大きな課題をもたらす。 JPEGのような標準的な圧縮手法はファイルサイズを小さくするが、下流のタスクに不可欠な微細な表現型の詳細を保存できない。 本研究では,遅延拡散モデル用に設計されたオートエンコーダ(AE)を,病理画像の効率的な学習圧縮フレームワークとして再利用する。
  論文  参考訳（メタデータ） (2025-03-14T17:01:17Z)
• Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
  バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。 我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-12T22:05:01Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Sculpting Efficiency: Pruning Medical Imaging Models for On-Device Inference [13.403419873964422]
  我々は、事前の作業から最適に設定されたMLモデルにおいて、過剰な運用上の複雑さを強調した。 その結果,圧縮速度は1148倍であり,品質の低下は最小限であった。 我々は、臨床研究者がより迅速に、よりリアルな使用に適したモデルを開発するための合理化の今後の研究の道を考える。
  論文  参考訳（メタデータ） (2023-09-10T17:34:14Z)
• An Evaluation of Lightweight Deep Learning Techniques in Medical Imaging for High Precision COVID-19 Diagnostics [0.0]
  決定支援システムは、画像の物理的検査に固有の課題を緩和する。 ほとんどのディープラーニングアルゴリズムは、リソース制約のあるデバイスの実装には適していない。 本稿では,MobileNetV2モデルを用いた新型コロナウイルス検出のための軽量深層学習手法の開発と評価について述べる。
  論文  参考訳（メタデータ） (2023-05-30T13:14:03Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• SSD-KD: A Self-supervised Diverse Knowledge Distillation Method for Lightweight Skin Lesion Classification Using Dermoscopic Images [62.60956024215873]
  皮膚がんは最も一般的な悪性腫瘍の1つであり、人口に影響を与え、世界中で経済的な重荷を負っている。 皮膚がん検出のほとんどの研究は、ポータブルデバイス上での計算資源の制限を考慮せずに、高い予測精度を追求している。 本研究は,皮膚疾患分類のための汎用的なKDフレームワークに多様な知識を統一する,SSD-KDと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T06:54:29Z)
• Demystifying Deep Learning Models for Retinal OCT Disease Classification using Explainable AI [0.6117371161379209]
  様々な深層学習技術の採用は、非常に一般的かつ効果的であり、網膜光コヒーレンス・トモグラフィー分野に実装する上でも同様に真実である。 これらの技術はブラックボックスの特徴を持ち、医療従事者がそれらの成果を完全に信頼できないようにする。 本稿では,この研究に説明可能なAIを導入したLimeの使用とともに,比較的小型で簡易な自己開発CNNモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-06T13:54:07Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。