Fugu-MT 論文翻訳(概要): CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

論文の概要: CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data

arxiv url: http://arxiv.org/abs/2306.15550v3
Date: Wed, 3 Apr 2024 14:48:57 GMT
ステータス: 処理完了
システム内更新日: 2024-04-04 23:37:29.412321
Title: CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data
Title（参考訳）: CamemBERT-bio:フランスのバイオメディカルデータを用いた費用効果モデルのための継続的な事前トレーニング
Authors: Rian Touchent, Laurent Romary, Eric de la Clergerie,
Abstract要約: BERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において、フランス語に大きな進歩をもたらした。我々は,フランスの生物医学モデルであるCamemBERT-bioを紹介した。連続的な事前トレーニングを通じて、CamemBERT-bioは、様々な生物医学的名前付きエンティティ認識タスクで平均2.54ポイントのF1スコアを達成している。
参考スコア（独自算出の注目度）: 1.1265248232450553
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clinical data in hospitals are increasingly accessible for research through clinical data warehouses. However these documents are unstructured and it is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances for French, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. Addressing this gap, we introduce CamemBERT-bio, a dedicated French biomedical model derived from a new public French biomedical dataset. Through continual pre-training of the original CamemBERT, CamemBERT-bio achieves an improvement of 2.54 points of F1-score on average across various biomedical named entity recognition tasks, reinforcing the potential of continual pre-training as an equally proficient yet less computationally intensive alternative to training from scratch. Additionally, we highlight the importance of using a standard evaluation protocol that provides a clear view of the current state-of-the-art for French biomedical models.
Abstract（参考訳）: 病院における臨床データは、臨床データウェアハウスを通じての研究にますますアクセスしやすくなっている。しかし、これらの文書は構造化されておらず、医療報告から情報を抽出して臨床研究を行う必要がある。 CamemBERTのようなBERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において、フランス語に大きな進歩をもたらした。しかし、これらのモデルは平易な言語で訓練されており、バイオメディカルデータでは効率が良くない。このギャップに対処するため,フランスの生物医学モデルであるCamemBERT-bioを紹介した。オリジナルのCamemBERTの継続的な事前トレーニングを通じて、CamemBERT-bioは、様々な生物医学的名前のエンティティ認識タスクにおいて平均2.54ポイントのF1スコアの改善を実現し、スクラッチからトレーニングに匹敵する同等に有能で計算力に乏しい代替手段として継続的な事前トレーニングの可能性を補強した。さらに,フランスにおけるバイオメディカルモデルの現状を明確化するための標準評価プロトコルの利用の重要性を強調した。

関連論文リスト

BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
論文参考訳（メタデータ） (2024-04-29T05:40:08Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study [4.042419725040222]
BERTに基づく事前訓練された言語モデルは、フランスの生物医学領域に導入されている。これらのモデルは512トークンの入力シーケンスの長さに制限されており、臨床記録に適用した場合に課題が生じる。本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。
論文参考訳（メタデータ） (2024-02-26T16:05:33Z)
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文参考訳（メタデータ） (2023-12-21T14:26:57Z)
Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
論文参考訳（メタデータ） (2023-07-01T08:16:00Z)
DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains [4.989459243399296]
医学領域におけるフランス語のPLMに関する独自の研究を提案する。医療機関の公開データとプライベートデータの両方でトレーニングされたPLMのパフォーマンスを初めて比較した。我々は,既存のバイオメディカルPLMを外国語で活用できることを示す。
論文参考訳（メタデータ） (2023-04-03T13:25:53Z)
BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
論文参考訳（メタデータ） (2022-10-19T07:17:39Z)
Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
論文参考訳（メタデータ） (2021-09-08T12:12:07Z)
CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文参考訳（メタデータ） (2021-06-15T12:25:30Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
Pre-training technique to localize medical BERT and enhance biomedical BERT [0.0]
高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
論文参考訳（メタデータ） (2020-05-14T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。