Fugu-MT 論文翻訳(概要): CamemBERT-bio: a Tasty French Language Model Better for your Health

論文の概要: CamemBERT-bio: a Tasty French Language Model Better for your Health

arxiv url: http://arxiv.org/abs/2306.15550v2
Date: Wed, 2 Aug 2023 17:53:45 GMT
ステータス: 処理完了
システム内更新日: 2023-08-03 17:24:06.940516
Title: CamemBERT-bio: a Tasty French Language Model Better for your Health
Title（参考訳）: CamemBERT-bio:美味しいフランス語モデル
Authors: Rian Touchent, Laurent Romary, Eric de la Clergerie
Abstract要約: 本稿では,F1スコアの平均値が2.54ポイント向上したフランスのバイオメディカルドメインを対象とした,特殊な公開モデルを提案する。私たちの重要なコントリビューションのひとつは、標準評価プロトコルを使用することの重要性を強調しています。
参考スコア（独自算出の注目度）: 2.363388546004777
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clinical data in hospitals are increasingly accessible for research through clinical data warehouses, however these documents are unstructured. It is therefore necessary to extract information from medical reports to conduct clinical studies. Transfer learning with BERT-like models such as CamemBERT has allowed major advances, especially for named entity recognition. However, these models are trained for plain language and are less efficient on biomedical data. This is why we propose a new French public biomedical dataset on which we have continued the pre-training of CamemBERT. Thus, we introduce a first version of CamemBERT-bio, a specialized public model for the French biomedical domain that shows 2.54 points of F1 score improvement on average on different biomedical named entity recognition tasks. Our findings demonstrate the success of continual pre-training from a French model and contrast with recent proposals on the same domain and language. One of our key contributions highlights the importance of using a standard evaluation protocol that enables a clear view of the current state-of-the-art for French biomedical models.
Abstract（参考訳）: 病院における臨床データは、臨床データウェアハウスを通じて研究に利用できるようになっているが、これらの文書は構造化されていない。したがって、臨床研究を行うためには、医療報告から情報を抽出する必要がある。 CamemBERTのようなBERTライクなモデルによるトランスファーラーニングは、特に名前付きエンティティ認識において大きな進歩をもたらした。しかし、これらのモデルは平易な言語で訓練されており、バイオメディカルデータでは効率が良くない。そこで我々は,カマンベールの事前訓練を継続したフランスの新しい生物医学データセットを提案する。そこで本研究では,フランスのバイオメディカルドメインであるcamimbert-bioの最初のバージョンを紹介し,f1スコアの2.54ポイント向上を示した。本研究は,フランス語モデルからの継続事前学習の成功と,同ドメインと言語に関する最近の提案との対比を示すものである。私たちの重要なコントリビューションの1つは、フランスのバイオメディカルモデルの現状を明確化するための標準評価プロトコルを使用することの重要性を強調しています。

関連論文リスト

BMRetriever: Tuning Large Language Models as Better Biomedical Text Retrievers [48.21255861863282]
BMRetrieverは、バイオメディカル検索を強化するための一連の密集したレトリバーである。 BMRetrieverは強力なパラメータ効率を示し、410Mの派生型はベースラインを最大11.7倍まで上回っている。
論文参考訳（メタデータ） (2024-04-29T05:40:08Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study [4.042419725040222]
BERTに基づく事前訓練された言語モデルは、フランスの生物医学領域に導入されている。これらのモデルは512トークンの入力シーケンスの長さに制限されており、臨床記録に適用した場合に課題が生じる。本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。
論文参考訳（メタデータ） (2024-02-26T16:05:33Z)
Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
論文参考訳（メタデータ） (2023-12-21T14:26:57Z)
Hierarchical Pretraining for Biomedical Term Embeddings [4.69793648771741]
階層データに基づく新しいバイオメディカル用語表現モデルであるHiPrBERTを提案する。 HiPrBERTは階層的な情報からペアワイズ距離を効果的に学習し,さらにバイオメディカルな応用に極めて有用な埋め込みを実現できることを示す。
論文参考訳（メタデータ） (2023-07-01T08:16:00Z)
DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains [4.989459243399296]
医学領域におけるフランス語のPLMに関する独自の研究を提案する。医療機関の公開データとプライベートデータの両方でトレーニングされたPLMのパフォーマンスを初めて比較した。我々は,既存のバイオメディカルPLMを外国語で活用できることを示す。
論文参考訳（メタデータ） (2023-04-03T13:25:53Z)
BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
論文参考訳（メタデータ） (2022-10-19T07:17:39Z)
Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario [0.05277024349608833]
本研究は, 異なる事前学習選択を実験することにより, スペイン語の生物医学的, 臨床的言語モデルを示す。モデルをスクラッチからトレーニングするための十分な臨床データがないため,混合ドメイン事前訓練法とクロスドメイン移行法を適用し,優れたバイオクリニカルモデルを構築した。
論文参考訳（メタデータ） (2021-09-08T12:12:07Z)
CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文参考訳（メタデータ） (2021-06-15T12:25:30Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
Pre-training technique to localize medical BERT and enhance biomedical BERT [0.0]
高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
論文参考訳（メタデータ） (2020-05-14T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。