論文の概要: Building Chinese Biomedical Language Models via Multi-Level Text Discrimination

• arxiv url: http://arxiv.org/abs/2110.07244v1
• Date: Thu, 14 Oct 2021 10:43:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 23:13:25.629059
• Title: Building Chinese Biomedical Language Models via Multi-Level Text Discrimination
• Title（参考訳）: マルチレベルテキスト識別による中国語生体言語モデルの構築
• Authors: Quan Wang and Songtai Dai and Benfeng Xu and Yajuan Lyu and Yong Zhu and Hua Wu and Haifeng Wang
• Abstract要約: 我々は,新しい事前学習フレームワークを組み込んだ中国語の生物医学的PLMであるeHealthを紹介した。 この新たなフレームワークは、トークンレベルとシーケンスレベルの両方の識別を通じて、eHealthを差別者として訓練する。 EHealthはトークンレベルとシーケンスレベルの両方で言語セマンティクスを学ぶことができる。
• 参考スコア（独自算出の注目度）: 24.992542216072152
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained language models (PLMs), such as BERT and GPT, have revolutionized the field of NLP, not only in the general domain but also in the biomedical domain. Most prior efforts in building biomedical PLMs have resorted simply to domain adaptation and focused mainly on English. In this work we introduce eHealth, a biomedical PLM in Chinese built with a new pre-training framework. This new framework trains eHealth as a discriminator through both token-level and sequence-level discrimination. The former is to detect input tokens corrupted by a generator and select their original signals from plausible candidates, while the latter is to further distinguish corruptions of a same original sequence from those of the others. As such, eHealth can learn language semantics at both the token and sequence levels. Extensive experiments on 11 Chinese biomedical language understanding tasks of various forms verify the effectiveness and superiority of our approach. The pre-trained model is available to the public at \url{https://github.com/PaddlePaddle/Research/tree/master/KG/eHealth} and the code will also be released later.
• Abstract（参考訳）: BERTやGPTのような事前訓練言語モデル(PLM)は、一般ドメインだけでなく、生物医学領域においても、NLPの分野に革命をもたらした。 バイオメディカルplmを構築する以前の取り組みのほとんどは、単にドメイン適応に頼り、主に英語に重点を置いてきた。 本稿では,中国における生物医学的PLMであるeHealthについて紹介する。 この新たなフレームワークは、トークンレベルとシーケンスレベルの両方の識別を通じて、eHealthを差別者として訓練する。 前者は、ジェネレータによって破損した入力トークンを検出し、可算候補から元の信号を選択し、後者は、同じ元のシーケンスの破損を他のものとさらに区別することである。 したがって、ehealthはトークンとシーケンスレベルで言語のセマンティクスを学ぶことができる。 様々な形態の11の中国語生物医学的言語理解タスクに関する大規模な実験により、我々のアプローチの有効性と優位性が確認された。 事前トレーニングされたモデルは \url{https://github.com/paddlepaddle/research/tree/master/kg/ehealth} で公開されている。

関連論文リスト

• KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model [37.69464822182714]
  ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。 本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-20T07:02:35Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining [140.61707108174247]
  本稿では,大規模生物医学文献に基づいて事前学習したドメイン固有生成型トランスフォーマー言語モデルであるBioGPTを提案する。 BC5CDRでは44.98%、38.42%、40.76%のF1スコア、KD-DTIとDDIの関係抽出タスクでは78.2%、PubMedQAでは78.2%の精度が得られた。
  論文  参考訳（メタデータ） (2022-10-19T07:17:39Z)
• Investigating Massive Multilingual Pre-Trained Machine Translation Models for Clinical Domain via Transfer Learning [11.571189144910521]
  本研究は,MMPLMが臨床ドメイン機械翻訳(MT)に適用可能かどうかを,転写学習を通じて完全に見えない言語に適用できるかどうかを検討する。 近年、多言語事前学習言語モデル (MMPLM) が開発され、下流タスクのために獲得した超能力と事前知識が実証されている。
  論文  参考訳（メタデータ） (2022-10-12T10:19:44Z)
• BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model [1.1764594853212893]
  本稿では,BARTをバイオメディカル領域に適応させる生成言語モデルBioBARTを紹介する。 我々は、対話、要約、エンティティリンク、名前付きエンティティ認識など、様々なバイオメディカル言語生成タスクを照合する。 PubMedの抽象化で事前訓練されたBioBARTは、BARTと比較してパフォーマンスが向上し、いくつかのタスクに強いベースラインが設定されている。
  論文  参考訳（メタデータ） (2022-04-08T08:07:42Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Conceptualized Representation Learning for Chinese Biomedical Text Mining [14.77516568767045]
  本稿では,最近導入された言語モデルBERTが,中国のバイオメディカルコーパスにどのように適応できるかを検討する。 漢文では、その複雑な構造と多種多様な句の組み合わせにより、より困難である。
  論文  参考訳（メタデータ） (2020-08-25T04:41:35Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)
• Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
  mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
  論文  参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。