論文の概要: Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction

• arxiv url: http://arxiv.org/abs/2104.13913v1
• Date: Wed, 28 Apr 2021 17:50:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-29 12:52:10.245556
• Title: Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
• Title（参考訳）: 生体関係抽出のためのコントラスト学習を用いたBERTモデルの改良
• Authors: Peng Su, Yifan Peng, K. Vijay-Shanker
• Abstract要約: 対比学習は、テキストデータの一般的なデータ拡張方法が不足しているため、自然言語処理では広く利用されていない。 本研究では, 対比学習を用いてBERTモデルからのテキスト表現を改善し, 関係抽出を行う手法を検討する。 3つの関係抽出ベンチマークデータセットの実験結果から,本手法がBERTモデル表現を改善し,最新性能を達成できることが示された。
• 参考スコア（独自算出の注目度）: 13.354066085659198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has been used to learn a high-quality representation of the image in computer vision. However, contrastive learning is not widely utilized in natural language processing due to the lack of a general method of data augmentation for text data. In this work, we explore the method of employing contrastive learning to improve the text representation from the BERT model for relation extraction. The key knob of our framework is a unique contrastive pre-training step tailored for the relation extraction tasks by seamlessly integrating linguistic knowledge into the data augmentation. Furthermore, we investigate how large-scale data constructed from the external knowledge bases can enhance the generality of contrastive pre-training of BERT. The experimental results on three relation extraction benchmark datasets demonstrate that our method can improve the BERT model representation and achieve state-of-the-art performance. In addition, we explore the interpretability of models by showing that BERT with contrastive pre-training relies more on rationales for prediction. Our code and data are publicly available at: https://github.com/udel-biotm-lab/BERT-CLRE.
• Abstract（参考訳）: コントラスト学習は、コンピュータビジョンにおける画像の高品質表現を学ぶために用いられてきた。 しかし、テキストデータに対する一般的なデータ拡張法が欠如しているため、自然言語処理ではコントラスト学習が広く利用されていない。 本研究では,関係抽出のためのBERTモデルからテキスト表現を改善するために,コントラスト学習を利用する手法を検討する。 我々のフレームワークのキーノブは、言語知識をデータ拡張にシームレスに統合することにより、関係抽出タスクに適したユニークなコントラスト付き事前学習ステップである。 さらに,外部知識ベースから構築した大規模データによって,BERTの対照的な事前学習の一般化が促進されるかを検討する。 3つの関係抽出ベンチマークデータセットによる実験結果から,提案手法はBERTモデル表現を改善し,最先端性能を実現することができることが示された。 さらに,比較事前学習を伴うBERTが予測の有理性に依存することを示すことによって,モデルの解釈可能性について検討する。 私たちのコードとデータは、https://github.com/udel-biotm-lab/bert-clreで公開されている。

関連論文リスト

• Leveraging Knowledge Graph Embeddings to Enhance Contextual Representations for Relation Extraction [0.0]
  コーパススケールに事前学習した知識グラフを組み込んだ文レベルの文脈表現への関係抽出手法を提案する。 提案手法の有望かつ非常に興味深い結果を示す一連の実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T07:15:20Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• LP-BERT: Multi-task Pre-training Knowledge Graph BERT for Link Prediction [3.5382535469099436]
  LP-BERTは、マルチタスク事前学習と知識グラフ微調整の2つのトレーニング段階を含む。 WN18RRとUMLSデータセット、特にHits@10インジケータを5%改善した。
  論文  参考訳（メタデータ） (2022-01-13T09:18:30Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。