論文の概要: Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study

• arxiv url: http://arxiv.org/abs/2402.16689v1
• Date: Mon, 26 Feb 2024 16:05:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 20:10:40.206272
• Title: Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study
• Title（参考訳）: 生医学的および臨床訓練済みモデルのフランス長期文書への適応--比較研究
• Authors: Adrien Bazoge, Emmanuel Morin, Beatrice Daille, Pierre-Antoine Gourraud
• Abstract要約: BERTに基づく事前訓練された言語モデルは、フランスの生物医学領域に導入されている。 これらのモデルは512トークンの入力シーケンスの長さに制限されており、臨床記録に適用した場合に課題が生じる。 本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。
• 参考スコア（独自算出の注目度）: 4.042419725040222
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recently, pretrained language models based on BERT have been introduced for the French biomedical domain. Although these models have achieved state-of-the-art results on biomedical and clinical NLP tasks, they are constrained by a limited input sequence length of 512 tokens, which poses challenges when applied to clinical notes. In this paper, we present a comparative study of three adaptation strategies for long-sequence models, leveraging the Longformer architecture. We conducted evaluations of these models on 16 downstream tasks spanning both biomedical and clinical domains. Our findings reveal that further pre-training an English clinical model with French biomedical texts can outperform both converting a French biomedical BERT to the Longformer architecture and pre-training a French biomedical Longformer from scratch. The results underscore that long-sequence French biomedical models improve performance across most downstream tasks regardless of sequence length, but BERT based models remain the most efficient for named entity recognition tasks.
• Abstract（参考訳）: 近年,フランスの生物医学領域において,BERTに基づく事前学習言語モデルが導入されている。 これらのモデルは、バイオメディカルおよび臨床NLPタスクの最先端の結果を得たが、512トークンの入力シーケンスの長さに制限されており、臨床ノートに適用した場合に課題が生じる。 本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。 バイオメディカル領域と臨床領域にまたがる16の下流課題において,これらのモデルの評価を行った。 以上の結果から, フランスのバイオメディカルテキストを用いた英語臨床モデルの事前トレーニングは, フランスのバイオメディカルBERTをLongformerアーキテクチャに変換し, フランスのバイオメディカルLongformerをスクラッチから事前トレーニングすることも可能であることがわかった。 その結果、長いシーケンスのフランスのバイオメディカルモデルは、シーケンスの長さに関わらず下流のタスクのほとんどでパフォーマンスが向上するが、bertベースのモデルは名前付きエンティティ認識タスクにおいて最も効率的である。

関連論文リスト

• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• BioLORD-2023: Semantic Textual Representations Fusing LLM and Clinical Knowledge Graph Insights [15.952942443163474]
  バイオメディカルな概念と文の高忠実度表現を得るための新しい最先端手法を提案する。 これまでの技術状況よりも一貫した、実質的なパフォーマンス向上を実証する。 英語のための最新のバイオメディカルモデルに加えて、50以上の言語と互換性のある多言語モデルを蒸留してリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:46:17Z)
• CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data [1.1265248232450553]
  BERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において、フランス語に大きな進歩をもたらした。 我々は,フランスの生物医学モデルであるCamemBERT-bioを紹介した。 連続的な事前トレーニングを通じて、CamemBERT-bioは、様々な生物医学的名前付きエンティティ認識タスクで平均2.54ポイントのF1スコアを達成している。
  論文  参考訳（メタデータ） (2023-06-27T15:23:14Z)
• BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs [48.376109878173956]
  PMC-15Mは,既存のバイオメディカル・マルチモーダル・データセットよりも2桁大きい新しいデータセットである。 PMC-15Mは440万の科学論文から収集された1500万のバイオメディカル画像テキスト対を含んでいる。 PMC-15Mに基づいて,生物医学的視覚言語処理に適したドメイン固有適応を備えた多モーダル基礎モデルであるBiomedCLIPを事前訓練した。
  論文  参考訳（メタデータ） (2023-03-02T02:20:04Z)
• A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
  大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。 名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
  論文  参考訳（メタデータ） (2023-01-27T16:50:29Z)
• Learning structures of the French clinical language:development and validation of word embedding models using 21 million clinical reports from electronic health records [2.5709272341038027]
  事前訓練された言語モデルを用いた伝達学習に基づく手法は、ほとんどのNLPアプリケーションで最先端の結果を得た。 本研究の目的は,下流医療NLP課題に対する言語モデルの適用が臨床報告に及ぼす影響を評価することである。
  論文  参考訳（メタデータ） (2022-07-26T14:46:34Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。