論文の概要: Do Syntax Trees Help Pre-trained Transformers Extract Information?

• arxiv url: http://arxiv.org/abs/2008.09084v2
• Date: Wed, 27 Jan 2021 03:42:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 03:32:02.964990
• Title: Do Syntax Trees Help Pre-trained Transformers Extract Information?
• Title（参考訳）: 構文木は、事前学習したトランスフォーマーの情報抽出に役立つか?
• Authors: Devendra Singh Sachan and Yuhao Zhang and Peng Qi and William Hamilton
• Abstract要約: 本稿では,情報抽出タスクにおいて,依存木を事前学習した変換器に組み込むことの有用性について検討する。 依存関係構造を組み込むための2つの異なる戦略を提案し,検討する。 それらの性能向上は,人間による注釈付き依存関係解析の可用性に大きく影響していることがわかった。
• 参考スコア（独自算出の注目度）: 8.133145094593502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much recent work suggests that incorporating syntax information from dependency trees can improve task-specific transformer models. However, the effect of incorporating dependency tree information into pre-trained transformer models (e.g., BERT) remains unclear, especially given recent studies highlighting how these models implicitly encode syntax. In this work, we systematically study the utility of incorporating dependency trees into pre-trained transformers on three representative information extraction tasks: semantic role labeling (SRL), named entity recognition, and relation extraction. We propose and investigate two distinct strategies for incorporating dependency structure: a late fusion approach, which applies a graph neural network on the output of a transformer, and a joint fusion approach, which infuses syntax structure into the transformer attention layers. These strategies are representative of prior work, but we introduce additional model design elements that are necessary for obtaining improved performance. Our empirical analysis demonstrates that these syntax-infused transformers obtain state-of-the-art results on SRL and relation extraction tasks. However, our analysis also reveals a critical shortcoming of these models: we find that their performance gains are highly contingent on the availability of human-annotated dependency parses, which raises important questions regarding the viability of syntax-augmented transformers in real-world applications.
• Abstract（参考訳）: 依存性ツリーから構文情報を取り込むことで、タスク固有のトランスフォーマーモデルを改善することができる。 しかしながら、依存ツリー情報を事前訓練されたトランスフォーマーモデル(例えばBERT)に組み込む効果は、特にこれらのモデルがどのように構文を暗黙的にエンコードするかを強調する最近の研究から明らかでない。 本研究では,3つの情報抽出課題である意味的役割ラベリング(SRL),名前付きエンティティ認識,関係抽出において,依存木を事前学習した変換器に組み込むことの有用性を体系的に検討する。 本稿では,変換器の出力にグラフニューラルネットワークを適用するレイトフュージョンアプローチと,変換器の注意層に構文構造を注入するジョイントフュージョンアプローチという,依存構造を取り入れるための2つの異なる戦略を提案する。 これらの戦略は、先行研究の代表であるが、性能向上に必要な追加のモデル設計要素を導入する。 我々の経験的分析は、これらの構文注入変換器がSRLおよび関係抽出タスクの最先端結果を得ることを示した。 しかし、我々の分析はこれらのモデルの重大な欠点も明らかにしている:それらの性能向上は、実世界のアプリケーションにおける構文拡張型トランスフォーマーの生存可能性に関する重要な疑問を提起する、人間のアノテーション付き依存性解析の可用性に大きく影響している。

関連論文リスト

• Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
  中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。 実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。 分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-05T14:29:44Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Skip-Layer Attention: Bridging Abstract and Detailed Dependencies in Transformers [56.264673865476986]
  本稿では、Transformerモデルを強化するためのSLA(Skip-Layer Attention)を提案する。 SLAは、高レベルの抽象機能と低レベルの詳細の間の依存関係をキャプチャするモデルの能力を改善します。 我々の実装は、与えられたレイヤ内のクエリが、現在のレイヤと前のレイヤの両方のキーと値とやり取りできるようにすることで、Transformerの機能を拡張します。
  論文  参考訳（メタデータ） (2024-06-17T07:24:38Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• When can transformers reason with abstract symbols? [25.63285482210457]
  大規模なタスク群における関係推論タスクに対して、変換器は抽象的関係を学習し、テストセットに一般化する。 これは、古典的な完全接続ネットワークとは対照的に、我々は推論を学ぶのに失敗している。
  論文  参考訳（メタデータ） (2023-10-15T06:45:38Z)
• What does Transformer learn about source code? [26.674180481543264]
  トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。 本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。 また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
  論文  参考訳（メタデータ） (2022-07-18T09:33:04Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization [131.23966358405767]
  抽象的な要約のタスクに対して,明示的に構成された製品表現(TPR)をTP-TRANSFORMERに適用する。 モデルの主な特徴は、トークンごとに2つの別々の表現を符号化することで導入する構造バイアスである。 本稿では,TP-TRANSFORMER が Transformer と TP-TRANSFORMER より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T17:32:33Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。