論文の概要: Do Syntax Trees Help Pre-trained Transformers Extract Information?
- arxiv url: http://arxiv.org/abs/2008.09084v2
- Date: Wed, 27 Jan 2021 03:42:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 03:32:02.964990
- Title: Do Syntax Trees Help Pre-trained Transformers Extract Information?
- Title(参考訳): 構文木は、事前学習したトランスフォーマーの情報抽出に役立つか?
- Authors: Devendra Singh Sachan and Yuhao Zhang and Peng Qi and William Hamilton
- Abstract要約: 本稿では,情報抽出タスクにおいて,依存木を事前学習した変換器に組み込むことの有用性について検討する。
依存関係構造を組み込むための2つの異なる戦略を提案し,検討する。
それらの性能向上は,人間による注釈付き依存関係解析の可用性に大きく影響していることがわかった。
- 参考スコア(独自算出の注目度): 8.133145094593502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Much recent work suggests that incorporating syntax information from
dependency trees can improve task-specific transformer models. However, the
effect of incorporating dependency tree information into pre-trained
transformer models (e.g., BERT) remains unclear, especially given recent
studies highlighting how these models implicitly encode syntax. In this work,
we systematically study the utility of incorporating dependency trees into
pre-trained transformers on three representative information extraction tasks:
semantic role labeling (SRL), named entity recognition, and relation
extraction.
We propose and investigate two distinct strategies for incorporating
dependency structure: a late fusion approach, which applies a graph neural
network on the output of a transformer, and a joint fusion approach, which
infuses syntax structure into the transformer attention layers. These
strategies are representative of prior work, but we introduce additional model
design elements that are necessary for obtaining improved performance. Our
empirical analysis demonstrates that these syntax-infused transformers obtain
state-of-the-art results on SRL and relation extraction tasks. However, our
analysis also reveals a critical shortcoming of these models: we find that
their performance gains are highly contingent on the availability of
human-annotated dependency parses, which raises important questions regarding
the viability of syntax-augmented transformers in real-world applications.
- Abstract(参考訳): 依存性ツリーから構文情報を取り込むことで、タスク固有のトランスフォーマーモデルを改善することができる。
しかしながら、依存ツリー情報を事前訓練されたトランスフォーマーモデル(例えばBERT)に組み込む効果は、特にこれらのモデルがどのように構文を暗黙的にエンコードするかを強調する最近の研究から明らかでない。
本研究では,3つの情報抽出課題である意味的役割ラベリング(SRL),名前付きエンティティ認識,関係抽出において,依存木を事前学習した変換器に組み込むことの有用性を体系的に検討する。
本稿では,変換器の出力にグラフニューラルネットワークを適用するレイトフュージョンアプローチと,変換器の注意層に構文構造を注入するジョイントフュージョンアプローチという,依存構造を取り入れるための2つの異なる戦略を提案する。
これらの戦略は、先行研究の代表であるが、性能向上に必要な追加のモデル設計要素を導入する。
我々の経験的分析は、これらの構文注入変換器がSRLおよび関係抽出タスクの最先端結果を得ることを示した。
しかし、我々の分析はこれらのモデルの重大な欠点も明らかにしている:それらの性能向上は、実世界のアプリケーションにおける構文拡張型トランスフォーマーの生存可能性に関する重要な疑問を提起する、人間のアノテーション付き依存性解析の可用性に大きく影響している。
関連論文リスト
- Characterizing Intrinsic Compositionality in Transformers with Tree
Projections [72.45375959893218]
トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。
3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。
これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
論文 参考訳(メタデータ) (2022-11-02T17:10:07Z) - Structural Biases for Improving Transformers on Translation into
Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。
第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。
これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文 参考訳(メタデータ) (2022-08-11T22:42:24Z) - What does Transformer learn about source code? [26.674180481543264]
トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。
本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。
また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
論文 参考訳(メタデータ) (2022-07-18T09:33:04Z) - Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。
一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。
このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
論文 参考訳(メタデータ) (2022-06-09T06:30:17Z) - Transformer Grammars: Augmenting Transformer Language Models with
Syntactic Inductive Biases at Scale [31.293175512404172]
Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。
また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
論文 参考訳(メタデータ) (2022-03-01T17:22:31Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-12T22:42:31Z) - Enriching Transformers with Structured Tensor-Product Representations
for Abstractive Summarization [131.23966358405767]
抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。
モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。
本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T17:32:33Z) - HittER: Hierarchical Transformers for Knowledge Graph Embeddings [85.93509934018499]
複雑な知識グラフにおける実体と関係の表現を学習するためにHittを提案する。
実験結果から,Hittは複数リンク予測において最先端の新たな結果が得られることがわかった。
さらに,HittをBERTに統合する簡単なアプローチを提案し,その効果を2つのFreebaseファクトイド対応データセットで示す。
論文 参考訳(メタデータ) (2020-08-28T18:58:15Z) - Self-Attention Attribution: Interpreting Information Interactions Inside
Transformer [89.21584915290319]
本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。
本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
論文 参考訳(メタデータ) (2020-04-23T14:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。