論文の概要: PEFT-MedAware: Large Language Model for Medical Awareness

• arxiv url: http://arxiv.org/abs/2311.10697v1
• Date: Fri, 17 Nov 2023 18:32:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-20 13:42:09.880220
• Title: PEFT-MedAware: Large Language Model for Medical Awareness
• Title（参考訳）: PEFT-MedAware:医学的認識のための大規模言語モデル
• Authors: Keivalya Pandya
• Abstract要約: 我々は,特殊なMedQuADデータに基づいて,Falcon-1bの大規模言語モデルを強化するためのPEFT-MedAwareモデルを提案する。 このモデルは、特定の領域における医学的質問応答タスクにおいて、他のLSMよりも優れていた。 我々は、拡張データセット、より大きなモデル、持続医療関連性のためのフィードバックメカニズムによるさらなる改善を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chat models are capable of answering a wide range of questions, however, the accuracy of their responses is highly uncertain. In this research, we propose a specialized PEFT-MedAware model where we utilize parameter-efficient fine-tuning (PEFT) to enhance the Falcon-1b large language model on specialized MedQuAD data consisting of 16,407 medical QA pairs, leveraging only 0.44% of its trainable parameters to enhance computational efficiency. The paper adopts data preprocessing and PEFT to optimize model performance, complemented by a BitsAndBytesConfig for efficient transformer training. The resulting model was capable of outperforming other LLMs in medical question-answering tasks in specific domains with greater accuracy utilizing limited computational resources making it suitable for deployment in resource-constrained environments. We propose further improvements through expanded datasets, larger models, and feedback mechanisms for sustained medical relevancy. Our work highlights the efficiency gains and specialized capabilities of PEFT in medical AI, outpacing standard models in precision without extensive resource demands. The proposed model and data are released for research purposes only.
• Abstract（参考訳）: チャットモデルは幅広い質問に答えることができるが、その回答の正確性は非常に不確実である。 本研究では,16,407組の医療用QAペアからなる専門的MedQuADデータ上で,パラメータ効率の良い細調整(PEFT)モデルを用いてFalcon-1bの大規模言語モデルを拡張し,計算効率を向上させるために,トレーニング可能なパラメータの0.44%しか利用していないPEFT-MedAwareモデルを提案する。 本稿では,データ前処理とPEFTを用いてモデル性能を最適化し,効率的なトランスフォーマートレーニングのためのBitsAndBytesConfigを補完する。 得られたモデルでは、特定の領域における質問応答タスクにおいて、リソース制約された環境への展開に適した限られた計算資源を活用することで、他のLCMよりも高い精度で性能を発揮することができた。 我々は、拡張データセット、より大きなモデル、持続医療関連性のためのフィードバックメカニズムによるさらなる改善を提案する。 我々の研究は、医療用AIにおけるPEFTの効率向上と特殊能力を強調し、膨大なリソースを必要とせずに標準モデルの精度を上回ります。 提案されたモデルとデータは研究目的のみにリリースされます。

関連論文リスト

• Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies [17.904502959675337]
  大規模なモデルでは、運用には相当な計算資源とGPUメモリが必要である。 PEFT (Efficient Fine-Tuning) は、様々な下流タスクに適合する大規模な事前学習モデルのパラメータを効率的に調整することで、実用的なソリューションを提供する。 本稿では,PEFTの予備知識,各種PEFTアルゴリズムの基本的な考え方と原理,PEFTの適用,今後の研究方向性について紹介する。
  論文  参考訳（メタデータ） (2024-10-24T13:58:59Z)
• Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
  様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。 これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。 本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
  論文  参考訳（メタデータ） (2024-07-16T10:28:50Z)
• STLLaVA-Med: Self-Training Large Language and Vision Assistant for Medical Question-Answering [58.79671189792399]
  STLLaVA-Medは、医療ビジュアルインストラクションデータを自動生成できるポリシーモデルを訓練するために設計されている。 STLLaVA-Medの有効性とデータ効率を3つの主要な医用視覚質問応答(VQA)ベンチマークで検証した。
  論文  参考訳（メタデータ） (2024-06-28T15:01:23Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Efficiency at Scale: Investigating the Performance of Diminutive Language Models in Clinical Tasks [2.834743715323873]
  本稿では,臨床意思決定タスクにおけるPEFT法の適合性について検討する。 分析の結果,ほとんどのPEFT手法の性能はタスクによって大きく異なることがわかった。 臨床領域におけるPEFT法の有効性は明らかであり、特に低コストで社内の計算インフラで運用できる専門モデルでは顕著である。
  論文  参考訳（メタデータ） (2024-02-16T11:30:11Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization [100.90624220423634]
  PEFTモデルにおける微調整残差(タスクベクトル)を圧縮する新しい手法であるComPEFTを提案する。 200M - 65Bパラメータを持つT5, T0, LLaMA ベースのモデルにおいて, ComPEFT は圧縮比 8x - 50x を達成する。
  論文  参考訳（メタデータ） (2023-11-22T05:28:59Z)
• DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis [30.608225734194416]
  医用画像解析のための動的視覚的プロンプトチューニング手法DVPTを提案する。 トレーニング可能なパラメータがいくつかある大きなモデルから、下流タスクに有益な知識を抽出することができる。 最大60%のラベル付きデータと、ViT-B/16の99%のストレージコストを節約できる。
  論文  参考訳（メタデータ） (2023-07-19T07:11:11Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• A Data and Compute Efficient Design for Limited-Resources Deep Learning [68.55415606184]
  同変ニューラルネットワークは 深層学習コミュニティへの関心を高めています 医療分野では、データの対称性を効果的に活用して、より正確で堅牢なモデルの構築に成功している。 ディープ・ラーニング・ソリューションのモバイル・オン・デバイス実装は医療応用のために開発されている。 しかし、同変モデルは大規模で計算コストのかかるアーキテクチャを用いて一般的に実装されており、モバイルデバイス上では動作しない。 本研究では、MobileNetV2の同変バージョンを設計、テストし、さらにモデル量子化により最適化し、より効率的な推論を可能にする。
  論文  参考訳（メタデータ） (2020-04-21T00:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。