論文の概要: Are Clinical T5 Models Better for Clinical Text?

• arxiv url: http://arxiv.org/abs/2412.05845v1
• Date: Sun, 08 Dec 2024 07:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:53.488814
• Title: Are Clinical T5 Models Better for Clinical Text?
• Title（参考訳）: 臨床T5モデルは臨床テキストより優れているか?
• Authors: Yahan Li, Keith Harrigian, Ayah Zirikly, Mark Dredze,
• Abstract要約: T5のようなトランスフォーマーベースのエンコーダ/デコーダアーキテクチャを持つ大規模言語モデルは、教師付きタスクの標準プラットフォームとなっている。 最近の研究は、新しいまたは適応された既存のモデルを臨床データに訓練してきた。 臨床T5モデルは、FLANで調整された汎用T5モデルよりも良い選択か? トレーニングセットと異なる新しい臨床領域を一般化するだろうか?
• 参考スコア（独自算出の注目度）: 14.874311814583125
• License:
• Abstract: Large language models with a transformer-based encoder/decoder architecture, such as T5, have become standard platforms for supervised tasks. To bring these technologies to the clinical domain, recent work has trained new or adapted existing models to clinical data. However, the evaluation of these clinical T5 models and comparison to other models has been limited. Are the clinical T5 models better choices than FLAN-tuned generic T5 models? Do they generalize better to new clinical domains that differ from the training sets? We comprehensively evaluate these models across several clinical tasks and domains. We find that clinical T5 models provide marginal improvements over existing models, and perform worse when evaluated on different domains. Our results inform future choices in developing clinical LLMs.
• Abstract（参考訳）: T5のようなトランスフォーマーベースのエンコーダ/デコーダアーキテクチャを持つ大規模言語モデルは、教師付きタスクの標準プラットフォームとなっている。 これらの技術を臨床領域に持ち込むために、最近の研究は、新しいまたは適応された既存のモデルを臨床データに訓練してきた。 しかし,これらの臨床T5モデルの評価や,他のモデルとの比較は限られている。 臨床T5モデルは、FLANで調整された汎用T5モデルよりも良い選択か? トレーニングセットと異なる新しい臨床領域を一般化するだろうか? 我々はこれらのモデルを,いくつかの臨床課題と領域にわたって包括的に評価した。 臨床T5モデルは既存のモデルよりも限界的な改善をもたらし、異なるドメインで評価するとさらに悪化することがわかった。 臨床用LSMの開発における今後の選択について報告する。

関連論文リスト

• Towards Scalable Foundation Models for Digital Dermatology [35.62296620281727]
  我々は、24万以上の皮膚画像のデータセット上で、自己教師付き学習(SSL)技術を用いてモデルを事前訓練する。 以上の結果から,本研究で事前訓練したモデルは汎用モデルを上回るだけでなく,臨床関連診断タスクにおける50倍のモデルの性能にもアプローチすることが示唆された。
  論文  参考訳（メタデータ） (2024-11-08T12:19:20Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• The Minimum Information about CLinical Artificial Intelligence Checklist for Generative Modeling Research (MI-CLAIM-GEN) [8.612022189032599]
  新しい生成モデルは、専門的なトレーニングデータをほとんど、あるいは全く持たずに有用な出力を生成することができる。 新しいチェックリストは、非生成的(予測的)AIモデルと比較して、トレーニング、評価、解釈可能性、および新しい生成モデルの違いに対処することを目的としている。
  論文  参考訳（メタデータ） (2024-03-05T00:27:43Z)
• Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain [13.912870728383396]
  臨床応用のような新しい領域に事前訓練された言語モデルを適用するには、伝統的にパラメータの集合全体をトレーニングする必要がある。 本稿では,2段階のPEFTフレームワークを提案し,臨床領域で評価する。
  論文  参考訳（メタデータ） (2023-07-06T15:06:41Z)
• Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models [0.9049664874474734]
  低頻度病理診断のためのドメイン固有事前訓練によるゼロショット分類モデルの性能評価を行った。 従来のCLIP-BERTの重みは、一般的に見られる病態のモデル性能を低下させるが、事前学習したテキストタワーは、低頻度の疾患に対して非常に優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-13T06:26:54Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Model-Generated Pretraining Signals Improves Zero-Shot Generalization of Text-to-Text Transformers [98.30298332661323]
  本稿では,T5などのテキスト変換器のゼロショット一般化におけるモデル生成信号の有効性について検討する。 我々は新しいモデルMETRO-T0を開発し、ELECTRA-Style事前学習戦略を用いて事前訓練を行い、次にNLPタスクの混合を即時微調整する。 その結果,METRO-T0の有効性は,パラメータのよりバランスの取れた寄与と,それらの能力の有効利用に起因していることが判明した。
  論文  参考訳（メタデータ） (2023-05-21T21:06:23Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• What Do You See in this Patient? Behavioral Testing of Clinical NLP Models [69.09570726777817]
  本稿では,入力の変化に関する臨床結果モデルの振る舞いを評価する拡張可能なテストフレームワークを提案する。 私たちは、同じデータを微調整しても、モデル行動は劇的に変化し、最高のパフォーマンスのモデルが常に最も医学的に可能なパターンを学習していないことを示しています。
  論文  参考訳（メタデータ） (2021-11-30T15:52:04Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。