Fugu-MT 論文翻訳(概要): Fine-Tuning a Local LLaMA-3 Large Language Model for Automated Privacy-Preserving Physician Letter Generation in Radiation Oncology

論文の概要: Fine-Tuning a Local LLaMA-3 Large Language Model for Automated Privacy-Preserving Physician Letter Generation in Radiation Oncology

arxiv url: http://arxiv.org/abs/2408.10715v1
Date: Tue, 20 Aug 2024 10:31:36 GMT
ステータス: 処理完了
システム内更新日: 2024-08-21 14:04:52.049471
Title: Fine-Tuning a Local LLaMA-3 Large Language Model for Automated Privacy-Preserving Physician Letter Generation in Radiation Oncology
Title（参考訳）: 局所LLaMA-3大規模言語モデルによる放射線オンコロジーにおけるプライバシー保護型物理文字の自動生成
Authors: Yihao Hou, Christoph Bert, Ahmed Gomaa, Godehard Lahmer, Daniel Hoefler, Thomas Weissmann, Raphaela Voigt, Philipp Schubert, Charlotte Schmitter, Alina Depardon, Sabine Semrau, Andreas Maier, Rainer Fietkau, Yixing Huang, Florian Putz,
Abstract要約: 本研究では,大規模言語モデル(LLM)の局所的な微調整,特にLLaMAモデルについて,放射線腫瘍学の分野におけるプライバシ保存的手法を用いて検討した。 QLoRAアルゴリズムは、限られた計算資源を持つLLMの局所的な構造内微調整のための効率的な方法を提供する。臨床的メリットは, 臨床専門家に高く評価された。
参考スコア（独自算出の注目度）: 4.560166955894871
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Generating physician letters is a time-consuming task in daily clinical practice. This study investigates local fine-tuning of large language models (LLMs), specifically LLaMA models, for physician letter generation in a privacy-preserving manner within the field of radiation oncology. Our findings demonstrate that base LLaMA models, without fine-tuning, are inadequate for effectively generating physician letters. The QLoRA algorithm provides an efficient method for local intra-institutional fine-tuning of LLMs with limited computational resources (i.e., a single 48 GB GPU workstation within the hospital). The fine-tuned LLM successfully learns radiation oncology-specific information and generates physician letters in an institution-specific style. ROUGE scores of the generated summary reports highlight the superiority of the 8B LLaMA-3 model over the 13B LLaMA-2 model. Further multidimensional physician evaluations of 10 cases reveal that, although the fine-tuned LLaMA-3 model has limited capacity to generate content beyond the provided input data, it successfully generates salutations, diagnoses and treatment histories, recommendations for further treatment, and planned schedules. Overall, clinical benefit was rated highly by the clinical experts (average score of 3.44 on a 4-point scale). With careful physician review and correction, automated LLM-based physician letter generation has significant practical value.
Abstract（参考訳）: 医師の手紙の作成は日常臨床における時間を要する作業である。本研究では,大規模言語モデル(LLM)の局所的な微調整,特にLLaMAモデルについて,放射線腫瘍学の分野におけるプライバシ保存的手法を用いて検討した。以上の結果から,LLaMAモデルでは微調整は行わないが,医師の文字を効果的に生成するには不十分であることが示唆された。 QLoRAアルゴリズムは、限られた計算資源(病院内の48GBのGPUワークステーション)でLLMを局所的に微調整する効率的な方法を提供する。微調整LDMは、放射線腫瘍学固有の情報を学び、施設固有のスタイルで医師の手紙を生成する。生成された要約レポートのROUGEスコアは、13B LLaMA-2モデルよりも8B LLaMA-3モデルの方が優れていることを示している。さらに10例の多次元的医師評価の結果, 微調整のLLaMA-3モデルでは, 入力データ以外のコンテンツ生成能力に制限があるものの, サルテーション, 診断, 治療履歴, さらなる治療の勧告, 計画スケジュールが得られた。臨床的メリットは, 臨床専門家によって高く評価された(平均スコアは4点, 平均3.44点)。注意深い医師レビューと修正により,LSMに基づく医師レターの自動生成は極めて有用である。

関連論文リスト

Information Extraction from Clinical Notes: Are We Ready to Switch to Large Language Models? [16.312594953592665]
大規模言語モデル(LLM)は生成タスクに優れるが、抽出タスクのパフォーマンスについては議論が続いている。本研究は,オープンソースLLMを用いた包括的臨床用IEシステムの開発と評価を行った最初の試みである。
論文参考訳（メタデータ） (2024-11-15T07:54:19Z)
Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文参考訳（メタデータ） (2024-08-22T17:01:34Z)
The Power of Combining Data and Knowledge: GPT-4o is an Effective Interpreter of Machine Learning Models in Predicting Lymph Node Metastasis of Lung Cancer [18.32753287825974]
リンパ節転移(LNM)は肺癌患者の早期治療を決定する重要な因子である。近年,大きな言語モデル (LLM) が注目されている。本稿では,LLMが取得した医療知識と機械学習モデルで同定した潜伏パターンを組み合わせた新しいアンサンブル手法を提案する。
論文参考訳（メタデータ） (2024-07-25T09:42:24Z)
Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note Generation with On-Policy Reinforcement Learning [19.08691249610632]
本研究では,オープンソースのLLaMA-213億パラメータモデルに対する包括的ドメイン・タスク特化プロセスを提案する。教師モデルとしてGemini 1.0 Proを用いて、政治強化学習を行うための新しいアプローチであるDistillDirectを導入する。我々のモデルであるLLaMA-Clinicは、医師が作成したものと同等の品質の臨床メモを生成することができる。
論文参考訳（メタデータ） (2024-04-25T15:34:53Z)
SoftTiger: A Clinical Foundation Model for Healthcare Workflows [5.181665205189493]
医療基盤モデルとして設計された臨床用大規模言語モデル(CLaM)であるSoftTigerを紹介する。我々は,3つのサブタスク,すなわち国際患者要約,臨床印象,医療的出会いのデータを収集し,注釈する。公立および認証臨床データを用いて,最先端のLCMの微調整を指導した。
論文参考訳（メタデータ） (2024-03-01T04:39:16Z)
Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文参考訳（メタデータ） (2024-02-05T08:25:22Z)
ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文参考訳（メタデータ） (2023-11-10T12:25:32Z)
Integrating UMLS Knowledge into Large Language Models for Medical Question Answering [18.06960842747575]
大規模言語モデル(LLM)は強力なテキスト生成能力を示し、医療分野に前例のない革新をもたらした。我々は、医療コミュニティにより良いサービスを提供することを目的として、UMLS(Unified Medical Language System)に基づく拡張LLMフレームワークを開発する。ベンチマークモデルとしてLLaMa2-13b-chatとChatGPT-3.5を採用し、LiveQAテストセットから104の質問に対してROUGEスコアとBERTScoreを用いて自動評価を行う。
論文参考訳（メタデータ） (2023-10-04T12:50:26Z)
Evaluating Large Language Models for Radiology Natural Language Processing [68.98847776913381]
大規模言語モデル(LLM)の台頭は、自然言語処理(NLP)分野における重要な転換点となっている。本研究は, 放射線学報告の解釈において, 30 個の LLM を批判的に評価することにより, このギャップを埋めることを目指している。
論文参考訳（メタデータ） (2023-07-25T17:57:18Z)
PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文参考訳（メタデータ） (2023-04-27T18:29:05Z)
Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。本手法が患者の退院指示生成に有効であることを示す。
論文参考訳（メタデータ） (2022-10-23T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。