Fugu-MT 論文翻訳(概要): Enhancing disease detection in radiology reports through fine-tuning lightweight LLM on weak labels

論文の概要: Enhancing disease detection in radiology reports through fine-tuning lightweight LLM on weak labels

arxiv url: http://arxiv.org/abs/2409.16563v1
Date: Wed, 25 Sep 2024 02:29:44 GMT
ステータス: 処理完了
システム内更新日: 2024-09-27 05:55:22.572314
Title: Enhancing disease detection in radiology reports through fine-tuning lightweight LLM on weak labels
Title（参考訳）: 弱いラベルを用いた微調整軽量LDMによる放射線診断における疾患検出の促進
Authors: Yishu Wei, Xindi Wang, Hanley Ong, Yiliang Zhou, Adam Flanders, George Shih, Yifan Peng,
Abstract要約: 合成ラベル付き微調整データセットは、医療領域における大きな言語モデル(LLM)を改善することができる。これらの知見は,医学領域におけるLSM専門化の今後の研究に有望な方向を提供するものである。
参考スコア（独自算出の注目度）: 11.304737987937445
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite significant progress in applying large language models (LLMs) to the medical domain, several limitations still prevent them from practical applications. Among these are the constraints on model size and the lack of cohort-specific labeled datasets. In this work, we investigated the potential of improving a lightweight LLM, such as Llama 3.1-8B, through fine-tuning with datasets using synthetic labels. Two tasks are jointly trained by combining their respective instruction datasets. When the quality of the task-specific synthetic labels is relatively high (e.g., generated by GPT4- o), Llama 3.1-8B achieves satisfactory performance on the open-ended disease detection task, with a micro F1 score of 0.91. Conversely, when the quality of the task-relevant synthetic labels is relatively low (e.g., from the MIMIC-CXR dataset), fine-tuned Llama 3.1-8B is able to surpass its noisy teacher labels (micro F1 score of 0.67 v.s. 0.63) when calibrated against curated labels, indicating the strong inherent underlying capability of the model. These findings demonstrate the potential of fine-tuning LLMs with synthetic labels, offering a promising direction for future research on LLM specialization in the medical domain.
Abstract（参考訳）: 医学領域に大規模言語モデル(LLM)を適用するという大きな進歩にもかかわらず、いくつかの制限は実用的応用を妨げている。その中には、モデルサイズとコホート固有のラベル付きデータセットの欠如に関する制約がある。本研究では,Llama 3.1-8B などの軽量 LLM を,合成ラベルを用いたデータセットの微調整により改良する可能性について検討した。 2つのタスクは、それぞれの命令データセットを組み合わせることで共同で訓練される。タスク特異的な合成ラベルの品質が比較的高い場合(例えば、GPT4−oにより生成される)、Llama 3.1-8Bは、マイクロF1スコア0.91で、オープンエンドの疾患検出タスクにおいて良好な性能を達成する。逆に、タスク関連合成ラベルの品質が比較的低い場合(例えばMIMIC-CXRデータセットから)、微調整のLlama 3.1-8Bは、キュレートされたラベルに対して校正した場合、ノイズの多い教師ラベル(micro F1 score of 0.67 v.s. 0.63)を超えることができ、モデルの根底にある強力な能力を示している。これらの結果は, 合成ラベルを用いた微調整LDMの可能性を示し, 医用領域におけるLSM専門化の今後の研究に向けて有望な方向性を示すものである。

関連論文リスト

Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels [75.77877889764073]
大規模言語モデル(LLM)は,ゴールドラベルを用いた教師付き微調整やテキスト内学習を通じて,顕著な性能を示した。本研究では,ラベルのないデータのみを利用することで,強力なモデル機能を実現することができるかどうかを考察する。ゼロ・ツー・ストロング一般化と呼ばれる新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-09-19T02:59:44Z)
Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文参考訳（メタデータ） (2024-06-24T04:17:03Z)
Selective Fine-tuning on LLM-labeled Data May Reduce Reliance on Human Annotation: A Case Study Using Schedule-of-Event Table Detection [2.238930812771604]
ゲミニ-pro 1.0から得られたノイズラベルを用いて,パラメータ効率の良い微細チューニング(PEFT)を施したPaLM-2を微調整した。これらのラベルを微調整した PaLM-2 は gemini-pro 1.0 や他の LLM を超える性能が得られることを示す。
論文参考訳（メタデータ） (2024-05-09T20:45:58Z)
How Much are Large Language Models Contaminated? A Comprehensive Survey and the LLMSanitize Library [68.10605098856087]
大規模言語モデル(LLM)は、ビジネスアプリケーションやAIの資金調達でますます利用されている。 LLMの性能は、データへの以前の露出のために、少なくとも部分的には高性能である可能性があるため、もはや信頼性が低い可能性がある。我々はLLMSanitizeというオープンソースのPythonライブラリをリリースし、主要な汚染検知アルゴリズムを実装した。
論文参考訳（メタデータ） (2024-03-31T14:32:02Z)
A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification [1.4715634464004446]
大規模言語モデル(LLM)は、有望な伝達学習能力を実証している。 LLMは、大きな注釈付きデータセットをキュレートする必要性を減らし、臨床NLP研究の実行を高速化する可能性を実証した。これは、観察臨床研究におけるNLPに基づく変数の利用と結果の増加をもたらす可能性がある。
論文参考訳（メタデータ） (2024-01-25T02:05:31Z)
Multistage Collaborative Knowledge Distillation from a Large Language Model for Semi-Supervised Sequence Generation [60.657065293413716]
本研究は半教師付きシーケンス生成タスクについて検討し,いくつかのラベル付き例ではモデルを微調整するには不十分である。数発の試薬で抽出した学生モデルは、教師よりも一般的に一般化できるという発見を提示する。
論文参考訳（メタデータ） (2023-11-15T01:28:28Z)
TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
論文参考訳（メタデータ） (2023-10-27T03:32:17Z)
Transfer learning with weak labels from radiology reports: application to glioma change detection [0.2010294990327175]
弱いラベル(不正確だが高速に生成するアノテーション)とトランスファーラーニング(TL)の併用を提案する。具体的には、ソースドメインとターゲットドメインが同一であるが、ラベルシフトによってタスクが異なるインダクティブTLについて検討する。低容量VGGと高容量SEResNeXtを比較し,モデルサイズとTLの関係について検討した。
論文参考訳（メタデータ） (2022-10-18T09:15:27Z)
L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
論文参考訳（メタデータ） (2022-02-09T05:57:08Z)
Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data [37.980010197914105]
弱監視は、名前付きエンティティ認識(NER)など、多くの自然言語処理タスクにおいて有望な結果を示している。本稿では,弱ラベル補完,雑音認識損失関数,強ラベル付きデータに対する最終微調整という,3つの重要な要素を持つ多段階計算フレームワークNEEDLEを提案する。 NEEDLEは、弱いラベルのノイズを効果的に抑制し、既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2021-06-16T17:18:14Z)
Semi-Supervised Active Learning for COVID-19 Lung Ultrasound Multi-symptom Classification [13.878896181984262]
本稿では,複雑な特徴をモデル化し,ラベリングコストを削減するため,TSAL法を提案する。そこで本研究では,多症状多ラベル(MSML)分類ネットワークを提案し,肺症状の識別的特徴について検討した。 678本の動画から6,836枚の画像が採取された71人の臨床患者を含む、COVID19-LUSMSという新しい肺データセットが構築されている。
論文参考訳（メタデータ） (2020-09-09T10:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。