論文の概要: Experiments on transfer learning architectures for biomedical relation extraction

• arxiv url: http://arxiv.org/abs/2011.12380v1
• Date: Tue, 24 Nov 2020 20:56:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 12:15:59.176764
• Title: Experiments on transfer learning architectures for biomedical relation extraction
• Title（参考訳）: 生体関係抽出のための伝達学習アーキテクチャの実験
• Authors: Walid Hafiane, Joel Legrand, Yannick Toussaint and Adrien Coulet
• Abstract要約: 関係抽出(relation extract、RE)とは、テキストから自動的に関心関係を識別し、構造化することである。 最近、BERTはREを含むいくつかのNLPタスクの上位パフォーマンスを改善した。 本稿では,2つのコーパス上でのバイオメディカルREの課題に対して,BERTに基づく様々なアーキテクチャとトランスファーラーニング戦略(凍結あるいは微調整)について検討する。
• 参考スコア（独自算出の注目度）: 1.2599533416395763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relation extraction (RE) consists in identifying and structuring automatically relations of interest from texts. Recently, BERT improved the top performances for several NLP tasks, including RE. However, the best way to use BERT, within a machine learning architecture, and within a transfer learning strategy is still an open question since it is highly dependent on each specific task and domain. Here, we explore various BERT-based architectures and transfer learning strategies (i.e., frozen or fine-tuned) for the task of biomedical RE on two corpora. Among tested architectures and strategies, our *BERT-segMCNN with finetuning reaches performances higher than the state-of-the-art on the two corpora (1.73 % and 32.77 % absolute improvement on ChemProt and PGxCorpus corpora respectively). More generally, our experiments illustrate the expected interest of fine-tuning with BERT, but also the unexplored advantage of using structural information (with sentence segmentation), in addition to the context classically leveraged by BERT.
• Abstract（参考訳）: 関係抽出(re)は、テキストから利害関係を自動的に識別し、構造化することである。 最近、BERTはREを含むいくつかのNLPタスクの上位パフォーマンスを改善した。 しかしながら、機械学習アーキテクチャ内で、および転送学習戦略内でbertを使用する最良の方法は、特定のタスクとドメインごとに非常に依存しているため、まだ未解決の問題である。 本稿では,2つのコーパス上でのバイオメディカルREの課題に対して,BERTに基づく様々なアーキテクチャと伝達学習戦略(凍結あるいは微調整)について検討する。 テストされたアーキテクチャと戦略の中で、微細化された *BERT-segMCNN は2つのコーパス(それぞれChemProt と PGxCorpus の絶対改善率 1.73 % と 32.77 % )の最先端性能に到達した。 より一般に,本実験は,BERTによる微調整が期待されることに加えて,BERTが古典的に活用する文脈に加えて,構造情報(文セグメンテーションを含む)を使用することによる未探索の利点も示している。

関連論文リスト

• BioREx: Improving Biomedical Relation Extraction by Leveraging Heterogeneous Datasets [7.7587371896752595]
  生物医学的関係抽出(RE)は、生物医学的自然言語処理(NLP)研究における中心的な課題である。 本稿では、個々のデータセットのデータの均一性を体系的に解決し、それらを大きなデータセットに組み合わせるための新しいフレームワークを提案する。 評価の結果,BioRExは個々のデータセットでトレーニングしたベンチマークシステムよりも大幅に高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-06-19T22:48:18Z)
• StructVPR: Distill Structural Knowledge with Weighting Samples for Visual Place Recognition [49.58170209388029]
  視覚的位置認識(VPR)は通常、特定の画像検索問題と見なされる。 我々は、RGBグローバル機能における構造的知識を高めるために、VPRのための新しいトレーニングアーキテクチャであるStructVPRを提案する。 計算コストを低く保ちながら最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-12-02T02:52:01Z)
• BioRED: A Comprehensive Biomedical Relation Extraction Dataset [6.915371362219944]
  我々は,複数の実体型と関係対を持つ第一種バイオメディカルREコーパスであるBioREDを提示する。 それぞれの関係を、新しい発見知識または以前に知られていた背景知識を記述するものとしてラベル付けし、自動化アルゴリズムが新規情報と背景情報を区別できるようにする。 以上の結果から,既存の手法は NER タスクでは高い性能が得られるが,RE タスクには多くの改善の余地があることが示唆された。
  論文  参考訳（メタデータ） (2022-04-08T19:23:49Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Towards Incorporating Entity-specific Knowledge Graph Information in Predicting Drug-Drug Interactions [1.14219428942199]
  本稿では,他のバイオメディカル・エンティティとの相互作用から得られる薬物の埋め込みと,ドメイン固有のBioBERT埋め込みに基づくRCアーキテクチャを組み合わせる新しい手法であるBERTKG-DDIを提案する。 DDIExtraction 2013 コーパスで行った実験では、この戦略が他のベースラインアーキテクチャを4.1%マクロF1スコアで改善することを明確に示している。
  論文  参考訳（メタデータ） (2020-12-21T06:44:32Z)
• Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism [2.8881198461098894]
  BERTモデルの微調整過程における層全体の利用法について検討する。 さらに解析により,BERTモデルの最後の層から関係性に関する重要な知識を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-11-01T01:47:16Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)
• A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection [112.0514737686492]
  本稿では,単語関連エンコーダとともに,原語階の内在的構造を活用すれば,競争的な結果が得られることを論じる。 私たちのモデルはWikiQAデータセットでトレーニングするのに9.5秒かかります。
  論文  参考訳（メタデータ） (2020-03-04T22:12:18Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。