論文の概要: Integrating Dependency Tree Into Self-attention for Sentence Representation

• arxiv url: http://arxiv.org/abs/2203.05918v1
• Date: Fri, 11 Mar 2022 13:44:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-14 15:41:13.797200
• Title: Integrating Dependency Tree Into Self-attention for Sentence Representation
• Title（参考訳）: 文表現のための自己注意への依存木の統合
• Authors: Junhua Ma, Jiajun Li, Yuxuan Liu, Shangbo Zhou, Xue Li
• Abstract要約: 本稿では,自己認識機構と協調して機能するリレーショナルアテンション機構を適用したDependency-Transformerを提案する。 スコアベースの手法により、Transformerの並列化に影響を与えずに構文情報をインジェクトすることに成功した。 文表現のための4つのタスクにおいて、我々のモデルは最先端の手法よりも優れているか、あるいは同等である。
• 参考スコア（独自算出の注目度）: 9.676884071651205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress on parse tree encoder for sentence representation learning is notable. However, these works mainly encode tree structures recursively, which is not conducive to parallelization. On the other hand, these works rarely take into account the labels of arcs in dependency trees. To address both issues, we propose Dependency-Transformer, which applies a relation-attention mechanism that works in concert with the self-attention mechanism. This mechanism aims to encode the dependency and the spatial positional relations between nodes in the dependency tree of sentences. By a score-based method, we successfully inject the syntax information without affecting Transformer's parallelizability. Our model outperforms or is comparable to the state-of-the-art methods on four tasks for sentence representation and has obvious advantages in computational efficiency.
• Abstract（参考訳）: 文表現学習のための解析木エンコーダの最近の進歩は注目に値する。 しかし、これらは主に木構造を再帰的にエンコードしており、これは並列化には適さない。 一方、これらの作品が依存関係ツリーの弧のラベルを考慮に入れることは滅多にない。 両問題に対処するため,自己認識機構と協調して機能するリレーションアテンション機構を適用したDependency-Transformerを提案する。 本機構は,文の係り受け木におけるノード間の依存関係と空間的位置関係を符号化することを目的とする。 スコアベースの手法により、Transformerの並列化に影響を与えずに構文情報をインジェクトすることに成功した。 本モデルは, 文表現の4つのタスクにおいて, 最先端の手法に匹敵し, 計算効率において明らかな優位性を有する。

関連論文リスト

• Dependency Graph Parsing as Sequence Labeling [18.079016557290338]
  我々は、グラフ解析をタグ付けタスクとしてキャストするのに使用できる、非有界および有界な線形化の範囲を定義する。 セマンティック依存関係とUD解析の強化に関する実験結果から, シーケンスラベル依存グラフは, 符号化の優れた選択により, 高い効率性と, 最先端の精度を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T15:37:02Z)
• Entity-Aware Self-Attention and Contextualized GCN for Enhanced Relation Extraction in Long Sentences [5.453850739960517]
  本稿では,入力文の構文構造とシーケンスの意味的文脈を効率的に組み込んだ,エンティティを意識した自己意図型GCN(ESC-GCN)を提案する。 本モデルでは,既存の依存性ベースモデルやシーケンスベースモデルと比較して,パフォーマンスの向上を実現している。
  論文  参考訳（メタデータ） (2024-09-15T10:50:51Z)
• Structured Dialogue Discourse Parsing [79.37200787463917]
  談話解析は、多人数会話の内部構造を明らかにすることを目的としている。 本稿では,符号化と復号化という2つの観点から,従来の作業を改善する原理的手法を提案する。 実験の結果,本手法は,STACでは2.3,Mollweniでは1.5,先行モデルでは2.3を上回った。
  論文  参考訳（メタデータ） (2023-06-26T22:51:01Z)
• Hexatagging: Projective Dependency Parsing as Tagging [63.5392760743851]
  文中の単語を有限個の可能なタグの要素でタグ付けすることで、依存関係木を構成する新しい依存性であるヘキサトガーを導入する。 私たちのアプローチは、トレーニング時に完全に並列化可能です。すなわち、依存関係のパースを構築するのに必要な構造構築アクションは、互いに並列に予測できます。 我々はPenn Treebankテストセット上で96.4 LASと97.4 UASの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-08T18:02:07Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing [1.0437764544103274]
  本稿では,トランスフォーマーに基づくセマンティックパーシングシステムにおいて,そのような依存情報を組み込む3つの手法について検討する。 まず、エンコーダの標準自己注意ヘッドを、親スケール自己注意ヘッド(PASCAL)に置き換える。 その後、エンコーダに構成的注意 (CA) を挿入し、入力文の係り受け構造をよりよく把握できる付加的制約を付加する。
  論文  参考訳（メタデータ） (2021-12-25T03:41:42Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Coordinate Constructions in English Enhanced Universal Dependencies: Analysis and Computational Modeling [1.9950682531209154]
  拡張ユニバーサル依存(UD)における座標構成の表現に対処する。 手動で編集した構文グラフの大規模なデータセットを作成する。 元のデータにおけるいくつかの系統的誤りを識別し、結合の伝播も提案する。
  論文  参考訳（メタデータ） (2021-03-16T10:24:27Z)
• Please Mind the Root: Decoding Arborescences for Dependency Parsing [67.71280539312536]
  我々はUniversal Dependency Treebankから多くの言語における最先端の出力を分析する。 最悪の制約違反率は24%です。
  論文  参考訳（メタデータ） (2020-10-06T08:31:14Z)
• Transformer-Based Neural Text Generation with Syntactic Guidance [0.0]
  テキスト生成の統語指導として(部分的)選挙区構文解析木を用いた場合の問題点について検討する。 提案手法は,まず部分的テンプレート構文解析木を入力元テキストに適した完全分岐構文解析木に拡張する。 本手法は意味論的・統語論的にSOTAモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-05T01:33:58Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。