論文の概要: BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer

• arxiv url: http://arxiv.org/abs/2101.04158v1
• Date: Mon, 11 Jan 2021 19:34:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 16:00:06.959759
• Title: BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer
• Title（参考訳）: BERT-GT:BERTとグラフトランスを用いたn-ary関係抽出
• Authors: Po-Ting Lai and Zhiyong Lu
• Abstract要約: 変換器の双方向表現とグラフ変換器(BERT-GT)を組み合わせた新しいアーキテクチャを提案する。 文全体を利用して現在のトークンの注目度を計算する元のトランスアーキテクチャとは異なり、本手法における隣り合わせ機構は、その隣のトークンのみを用いてその注目度を算出する。 以上の結果より,nタンパク質および化学タンパク質データセットの精度は5.44%と3.89%向上し,F1測定値も改善した。
• 参考スコア（独自算出の注目度）: 7.262905275276971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A biomedical relation statement is commonly expressed in multiple sentences and consists of many concepts, including gene, disease, chemical, and mutation. To automatically extract information from biomedical literature, existing biomedical text-mining approaches typically formulate the problem as a cross-sentence n-ary relation-extraction task that detects relations among n entities across multiple sentences, and use either a graph neural network (GNN) with long short-term memory (LSTM) or an attention mechanism. Recently, Transformer has been shown to outperform LSTM on many natural language processing (NLP) tasks. In this work, we propose a novel architecture that combines Bidirectional Encoder Representations from Transformers with Graph Transformer (BERT-GT), through integrating a neighbor-attention mechanism into the BERT architecture. Unlike the original Transformer architecture, which utilizes the whole sentence(s) to calculate the attention of the current token, the neighbor-attention mechanism in our method calculates its attention utilizing only its neighbor tokens. Thus, each token can pay attention to its neighbor information with little noise. We show that this is critically important when the text is very long, as in cross-sentence or abstract-level relation-extraction tasks. Our benchmarking results show improvements of 5.44% and 3.89% in accuracy and F1-measure over the state-of-the-art on n-ary and chemical-protein relation datasets, suggesting BERT-GT is a robust approach that is applicable to other biomedical relation extraction tasks or datasets.
• Abstract（参考訳）: バイオメディカルリレーションメントは、一般的に複数の文で表現され、遺伝子、疾患、化学、突然変異を含む多くの概念から構成される。 バイオメディカル文献から情報を自動的に抽出するために、既存のバイオメディカルテキストマイニングアプローチは、通常、複数の文にわたるn個のエンティティ間の関係を検知する横断的なn-ary関係抽出タスクとして問題を定式化し、長い短期記憶を持つグラフニューラルネットワーク(GNN)または注意機構を使用する。 近年、Transformerは多くの自然言語処理(NLP)タスクにおいてLSTMよりも優れていることが示されている。 本稿では,変換器からの双方向エンコーダ表現とグラフトランスフォーマ(bert-gt)を組み合わせた新しいアーキテクチャを提案する。 文全体を利用して現在のトークンの注目度を計算する元のトランスアーキテクチャとは異なり、本手法における隣り合わせ機構は、その隣のトークンのみを用いてその注目度を算出する。 したがって、各トークンは、ノイズが少なく隣の情報に注意を払うことができる。 クロス文や抽象レベルの関係抽出タスクのように、テキストが非常に長い場合、これは極めて重要であることを示す。 ベンチマークの結果,n-aryおよびケミカル-プロテイン関係データセットにおける精度5.44%と3.89%の改善とf1-measureが得られ,bert-gtは他の生物医学的関係抽出タスクやデータセットに適用可能な頑健なアプローチであることが示唆された。

関連論文リスト

• Benchmark on Drug Target Interaction Modeling from a Structure Perspective [48.60648369785105]
  薬物と標的の相互作用の予測は、薬物の発見と設計に不可欠である。 グラフニューラルネットワーク(GNN)やトランスフォーマーに基づく最近の手法は、さまざまなデータセットで例外的なパフォーマンスを示している。 我々は,GNNベースと暗黙的(トランスフォーマーベース)構造学習アルゴリズムを多用することにより,構造の観点からの薬物-標的相互作用モデリングの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2024-07-04T16:56:59Z)
• Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition [48.84506301960988]
  Cued Speech (CS) は、聴覚障害者が使用する純粋視覚符号化法である。 自動CS認識(ACSR)は、音声の視覚的手がかりをテキストに書き起こそうとする。
  論文  参考訳（メタデータ） (2024-01-31T05:20:29Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Multimodal Optimal Transport-based Co-Attention Transformer with Global Structure Consistency for Survival Prediction [5.445390550440809]
  生存予測(Survival prediction)は、死亡リスクの予測を目的とした複雑な順序回帰タスクである。 病理画像の大きさが大きいため、スライド画像全体(WSI)を効果的に表現することは困難である。 組織学における腫瘍微小環境(TME)内の相互作用は生存分析に不可欠である。
  論文  参考訳（メタデータ） (2023-06-14T08:01:24Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model [93.9943278892735]
  タンパク質配列表現学習の鍵となる問題は、配列中の残基間の共変量によって反映される共進化情報をキャプチャすることである。 Pairwise Masked Language Model (PMLM) と呼ばれる専用言語モデルによる事前学習により,この情報を直接キャプチャする新しい手法を提案する。 提案手法は, 相互関係を効果的に把握し, ベースラインと比較して, 接触予測性能を最大9%向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:01:32Z)
• Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction [2.5655440962401617]
  本稿では,テキスト生成のためのトランスフォーマーモデルのパワーと,分子グラフエンコーダの置換不変性を組み合わせた新しいGraph2SMILESモデルについて述べる。 エンドツーエンドアーキテクチャとして、Graph2SMILESは、分子から分子への変換を含むあらゆるタスクにおいて、Transformerのドロップイン置換として使用できる。
  論文  参考訳（メタデータ） (2021-10-19T01:23:15Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• A hybrid deep-learning approach for complex biochemical named entity recognition [9.657827522380712]
  化学物質と薬物のエンティティ認識(ner)は生化学研究において重要な情報抽出領域である。 本稿では,NERの認識精度向上のためのハイブリッド深層学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-20T01:30:07Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。