論文の概要: Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction

• arxiv url: http://arxiv.org/abs/2008.09740v1
• Date: Sat, 22 Aug 2020 03:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 07:53:48.413358
• Title: Applications of BERT Based Sequence Tagging Models on Chinese Medical Text Attributes Extraction
• Title（参考訳）: bertに基づく系列タグ付けモデルの中国医学テキスト属性抽出への応用
• Authors: Gang Zhao, Teng Zhang, Chenxiao Wang, Ping Lv, Ji Wu
• Abstract要約: 我々は,漢文属性抽出タスクをシーケンスタグ付けや機械読解タスクに変換する。 BERT事前学習モデルに基づいて、広く使われているLSTM-CRFシーケンスタギングモデルだけでなく、CNN、UCNN、WaveNet、SelfAttentionなどの他のシーケンスモデルも試した。
• 参考スコア（独自算出の注目度）: 17.099116788651862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We convert the Chinese medical text attributes extraction task into a sequence tagging or machine reading comprehension task. Based on BERT pre-trained models, we have not only tried the widely used LSTM-CRF sequence tagging model, but also other sequence models, such as CNN, UCNN, WaveNet, SelfAttention, etc, which reaches similar performance as LSTM+CRF. This sheds a light on the traditional sequence tagging models. Since the aspect of emphasis for different sequence tagging models varies substantially, ensembling these models adds diversity to the final system. By doing so, our system achieves good performance on the task of Chinese medical text attributes extraction (subtask 2 of CCKS 2019 task 1).
• Abstract（参考訳）: 漢方医学テキスト属性抽出タスクをシーケンスタグ化または機械読み理解タスクに変換する。 BERT事前学習モデルに基づいて、広く使われているLSTM-CRFシーケンスタギングモデルだけでなく、CNN、UCNN、WaveNet、SelfAttentionなど、LSTM+CRFと同等の性能を持つ他のシーケンスモデルも試した。 これは従来のシーケンスタグ付けモデルに光を当てます。 異なるシーケンスタギングモデルに重点を置く側面は大きく異なるため、これらのモデルを統合することで最終システムに多様性が加わる。 そこで本システムは,中国の医療用テキスト属性抽出作業(CCKS 2019タスク1のサブタスク2)において,優れたパフォーマンスを実現している。

関連論文リスト

• UniTS: A Unified Multi-Task Time Series Model [31.675845788410246]
  UniTSは、予測タスクと生成タスクを単一のフレームワークに統合した、統合されたマルチタスク時系列モデルである。 UniTSは、人間の活動センサー、ヘルスケア、エンジニアリング、ファイナンスにまたがる38のデータセットでテストされている。
  論文  参考訳（メタデータ） (2024-02-29T21:25:58Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Transfer Learning for Sequence Generation: from Single-source to Multi-source [50.34044254589968]
  そこで本研究では,2段階のファイントゥニング手法を提案する。また,MSGタスクにおいて,より優れた表現を学習するための微細エンコーダを備えた新しいMSGモデルを提案する。 提案手法は,WMT17 APE タスクと WMT14 テストセットを用いたマルチソース翻訳タスクにおいて,新たな最先端結果を実現する。
  論文  参考訳（メタデータ） (2021-05-31T09:12:38Z)
• Bidirectional LSTM-CRF Attention-based Model for Chinese Word Segmentation [2.3991565023534087]
  中国語単語セグメンテーションのための双方向LSTM-CRFアテンションベースモデルを提案する。 我々のモデルは、他のニューラルネットワークによるベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2021-05-20T11:46:53Z)
• Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability [74.11825654535895]
  BERTなどのテキストデータに予め訓練されたモデルのパワーを、一般的なトークンシーケンス分類アプリケーションに転送できるかどうかを検討します。 テキスト以外のデータでも、テキストに事前学習されたモデルはランダムなモデルよりも高速に収束する。
  論文  参考訳（メタデータ） (2021-03-12T09:19:14Z)
• RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification [5.71097144710995]
  変換器による双方向表現(BERT)は、様々な自然言語処理タスクにおけるパフォーマンスを劇的に向上させる、有望な方法である。 本プロジェクトでは,中国語テキスト分類にroberta-wwm-extプリトレイン言語モデルを適用し,微調整を行った。 モデルは、法行動の記述と違法行為の記述を含む2つの分類に分類することができた。
  論文  参考訳（メタデータ） (2021-02-24T18:57:57Z)
• DiscreTalk: Text-to-Speech as a Machine Translation Problem [52.33785857500754]
  本稿ではニューラルマシン翻訳(NMT)に基づくエンドツーエンドテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルは,非自己回帰ベクトル量子化変分オートエンコーダ(VQ-VAE)モデルと自己回帰トランスフォーマー-NMTモデルという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2020-05-12T02:45:09Z)
• Abstractive Summarization with Combination of Pre-trained Sequence-to-Sequence and Saliency Models [11.420640383826656]
  本稿では,テキストの重要部分と事前学習したSeq-to-seqモデルとの相性モデルの有効性について検討する。 組み合わせモデルは、CNN/DMとXSumの両方のデータセット上で、単純な微調整のSeq-to-seqモデルよりも優れていた。
  論文  参考訳（メタデータ） (2020-03-29T14:00:25Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。