論文の概要: GERNERMED++: Transfer Learning in German Medical NLP

• arxiv url: http://arxiv.org/abs/2206.14504v1
• Date: Wed, 29 Jun 2022 09:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 19:10:52.472855
• Title: GERNERMED++: Transfer Learning in German Medical NLP
• Title（参考訳）: gernermed++: ドイツ医学nlpにおけるトランスファー学習
• Authors: Johann Frei, Ludwig Frei-Stuber, Frank Kramer
• Abstract要約: 我々は、名前付き実体認識(NER)のために訓練されたドイツの医学自然言語処理の統計モデルを提案する。 この作品は、私たちの最初のGERNERMEDモデルの洗練された後継として機能します。
• 参考スコア（独自算出の注目度）: 0.46408356903366527
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a statistical model for German medical natural language processing trained for named entity recognition (NER) as an open, publicly available model. The work serves as a refined successor to our first GERNERMED model which is substantially outperformed by our work. We demonstrate the effectiveness of combining multiple techniques in order to achieve strong results in entity recognition performance by the means of transfer-learning on pretrained deep language models (LM), word-alignment and neural machine translation. Due to the sparse situation on open, public medical entity recognition models for German texts, this work offers benefits to the German research community on medical NLP as a baseline model. Since our model is based on public English data, its weights are provided without legal restrictions on usage and distribution. The sample code and the statistical model is available at: https://github.com/frankkramer-lab/GERNERMED-pp
• Abstract（参考訳）: 本稿では,ドイツの医学自然言語処理のための統計モデルとして,名前付きエンティティ認識(NER)をオープンかつ一般公開したモデルとして提案する。 この作品は、私たちの最初のGERNERMEDモデルの洗練された後継として機能します。 本研究では,事前学習した深層言語モデル(LM)や単語アライメント,ニューラルマシン翻訳を用いて,エンティティ認識性能を向上するために,複数の手法を組み合わせることの有効性を示す。 ドイツ語テキストのオープンな公開医療エンティティ認識モデルに関する状況が緩いため、この研究はドイツの医学NLP研究コミュニティにベースラインモデルとして利益をもたらす。 本モデルは公的な英語データに基づいており,その重み付けは使用と流通に関する法的制約を伴わない。 サンプルコードと統計モデルは、https://github.com/frankkramer-lab/GERNERMED-ppで公開されている。

関連論文リスト

• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi [1.6383036433216434]
  低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。 BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。 従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
  論文  参考訳（メタデータ） (2023-12-03T06:53:53Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• German BERT Model for Legal Named Entity Recognition [0.43461794560295636]
  法定エンティティ認識(LER)データセット上で、ドイツのデータ(BERT)に基づいてトレーニングされた人気のあるBERT言語モデルを微調整する。 LERデータセット上のゲルマンBERTを微調整することで、同じLERデータセットの著者が使用するBiLSTM-CRF+モデルより優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-03-07T11:54:39Z)
• Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation [48.58899349349702]
  Nearest Neighbor Machine Translation (kNNMT)は、トークンレベルの近接した近接検索機構を備えた、ニューラルネットワーク翻訳(NMT)の簡易かつ効果的な方法である。 本稿では,kNN-MTにおけるデータストアの事前学習モデルを活用するフレームワークであるPreDを提案する。
  論文  参考訳（メタデータ） (2022-12-17T08:34:20Z)
• GERNERMED -- An Open German Medical NER Model [0.7310043452300736]
  医療データ分析の分野でのデータマイニングは、関連するデータを取得するために、構造化されていないデータの処理にのみ依存する必要があることが多い。 本研究では,ドイツのテキストデータにおける医学的実体型を検出するためのNERタスクのための,最初のオープンなニューラルNLPモデルであるGERNERMEDを提案する。
  論文  参考訳（メタデータ） (2021-09-24T17:53:47Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Paraphrastic Representations at Scale [134.41025103489224]
  私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。 我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
  論文  参考訳（メタデータ） (2021-04-30T16:55:28Z)
• German's Next Language Model [0.8520624117635327]
  GBERT と GELECTRA をベースとした言語モデル GBERT と GELECTRA の作成に繋がる実験について述べる。 入力トレーニングデータやモデルサイズ,WWMの存在によって,文書分類やエンティティ認識タスクの集合を通じて,SoTAのパフォーマンスを達成できたのです。
  論文  参考訳（メタデータ） (2020-10-21T11:28:23Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。