論文の概要: Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement

• arxiv url: http://arxiv.org/abs/2003.13118v2
• Date: Tue, 10 Nov 2020 17:05:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:03:48.184326
• Title: Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement
• Title（参考訳）: 繰り返し精細化を伴う係り受け解析のための再帰的非自己回帰グラフトグラフトランスフォーマ
• Authors: Alireza Mohammadshahi, James Henderson
• Abstract要約: 再帰的非自己回帰型グラフ-グラフ変換器アーキテクチャ(RNGTr)を提案する。 BERTで事前学習した改良モデルを用いて,RNGTrの複数の依存コーパスに対する有効性と有効性を示す。 RNGTrは、Universal Dependencies Treebanks、英語および中国語のPenn Treebanks、ドイツ語のCoNLL2009コーパスから、13言語に対する様々な初期化の精度を向上させることができる。
• 参考スコア（独自算出の注目度）: 18.028902306143102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the Recursive Non-autoregressive Graph-to-Graph Transformer architecture (RNGTr) for the iterative refinement of arbitrary graphs through the recursive application of a non-autoregressive Graph-to-Graph Transformer and apply it to syntactic dependency parsing. We demonstrate the power and effectiveness of RNGTr on several dependency corpora, using a refinement model pre-trained with BERT. We also introduce Syntactic Transformer (SynTr), a non-recursive parser similar to our refinement model. RNGTr can improve the accuracy of a variety of initial parsers on 13 languages from the Universal Dependencies Treebanks, English and Chinese Penn Treebanks, and the German CoNLL2009 corpus, even improving over the new state-of-the-art results achieved by SynTr, significantly improving the state-of-the-art for all corpora tested.
• Abstract（参考訳）: 本稿では、非自己回帰グラフ-グラフ変換器の再帰的適用による任意のグラフの反復的洗練のための再帰的非自己回帰グラフ-グラフ変換器アーキテクチャ(RNGTr)を提案する。 BERTで事前学習した改良モデルを用いて,RNGTrの複数の依存コーパスに対する有効性と有効性を示す。 また,リファインメントモデルに類似した非再帰型パーサであるSynTr(SynTr)も導入した。 RNGTrは、Universal Dependencies Treebanks, English and Chinese Penn Treebanks, and the German CoNLL2009 corpusから13の言語に対する様々な初期パーサーの精度を改善し、またSynTrによって達成された新しい最先端の結果をさらに改善し、テストされたすべてのコーパスの最先端性を大幅に改善することができる。

関連論文リスト

• Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
  グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。 GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。 GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-17T17:38:24Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• AGFormer: Efficient Graph Representation with Anchor-Graph Transformer [95.1825252182316]
  Anchor Graph Transformer (AGFormer) と呼ばれる新しいグラフトランスアーキテクチャを提案する。 AGFormerはまずいくつかの代表アンカーを取得し、次にノード間メッセージパッシングをアンカー間メッセージパッシングプロセスとアンカー間メッセージパッシングプロセスに変換する。 いくつかのベンチマークデータセットに対する大規模な実験は、提案されたAGFormerの有効性とメリットを示している。
  論文  参考訳（メタデータ） (2023-05-12T14:35:42Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization [0.0]
  融合シーケンスとグラフのモダリティに基づいてエンドツーエンドの学習を行う新しい手法であるGN-Transformerを提案する。 提案手法は,2つのコード要約データセットと3つの自動コード要約メトリクスにおいて,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-17T02:51:37Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Self-Supervised Graph Representation Learning via Topology Transformations [61.870882736758624]
  本稿では,グラフデータのノード表現のための自己教師型学習の一般的なパラダイムであるトポロジー変換同変表現学習について述べる。 実験では,提案手法を下流ノードおよびグラフ分類タスクに適用し,提案手法が最先端の教師なし手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-25T06:11:03Z)
• Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling [18.028902306143102]
  本稿では,グラフ関係を埋め込みとして入力する新しい手法を用いて,構文構造を符号化する構文対応グラフ変換器(SynG2G-Tr)モデルを提案する。 このアプローチは、構文構造に従う注意パターンに対してソフトなバイアスを与えるが、モデルがこの情報を使って代替パターンを学ぶことを可能にする。 本研究では,スパンベースと依存性ベースの両方のSRLデータセット上でモデルを評価し,ドメイン内設定とドメイン外設定の両方において,従来の代替手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-15T18:14:18Z)
• Transition-based Semantic Dependency Parsing with Pointer Networks [0.34376560669160383]
  本稿では,ラベル付き非巡回グラフを容易に生成し,セマンティック依存解析を行う遷移システムを提案する。 BERTから抽出した深層文脈化単語埋め込みによるアプローチを強化する。 結果として得られたシステムは、既存のトランジションベースモデルをすべて上回るだけでなく、SemEval 2015 18の英語データセットでこれまでで最高の完全教師付き精度を達成している。
  論文  参考訳（メタデータ） (2020-05-27T13:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。