論文の概要: Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling

• arxiv url: http://arxiv.org/abs/2104.07704v1
• Date: Thu, 15 Apr 2021 18:14:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 09:35:56.449759
• Title: Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling
• Title（参考訳）: セマンティックロールラベリングのための構文対応グラフ-グラフ変換器
• Authors: Alireza Mohammadshahi, James Henderson
• Abstract要約: 意味的役割分類(SRL)の目標は、文の述語-引数構造を認識することである。 最近のモデルでは、構文情報はSRLのパフォーマンスを向上させることができるが、他の構文に依存しないアプローチは妥当なパフォーマンスを達成した。 本稿では,グラフ関係を入力する新しい手法により,構文構造を符号化する構文対応グラフ変換器(SynG2G-Tr)アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 15.470387097837845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of semantic role labelling (SRL) is to recognise the predicate-argument structure of a sentence. Recent models have shown that syntactic information can enhance the SRL performance, but other syntax-agnostic approaches achieved reasonable performance. The best way to encode syntactic information for the SRL task is still an open question. In this paper, we propose the Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr) architecture, which encodes the syntactic structure with a novel way to input graph relations as embeddings directly into the self-attention mechanism of Transformer. This approach adds a soft bias towards attention patterns that follow the syntactic structure but also allows the model to use this information to learn alternative patterns. We evaluate our model on both dependency-based and span-based SRL datasets, and outperform all previous syntax-aware and syntax-agnostic models in both in-domain and out-of-domain settings, on the CoNLL 2005 and CoNLL 2009 datasets. Our architecture is general and can be applied to encode any graph information for a desired downstream task.
• Abstract（参考訳）: 意味的役割ラベリング(srl)の目的は、文の述語属性構造を認識することである。 近年のモデルでは、構文情報によりSRLの性能が向上することが示されているが、他の構文に依存しないアプローチは合理的な性能を達成した。 SRLタスクの構文情報をエンコードする最良の方法は、まだ未解決の問題である。 本稿では,構文構造をエンコードする構文認識型グラフ・ツー・グラフトランス(syng2g-tr)アーキテクチャを提案する。 このアプローチは、構文構造に従う注意パターンに対するソフトバイアスを付加するが、モデルはこの情報を使って別のパターンを学ぶことができる。 我々は、依存ベースとスパンベースの両方のSRLデータセットでモデルを評価し、CoNLL 2005とCoNLL 2009データセットで、ドメイン内およびドメイン外設定の両方で、従来の構文認識および構文非依存モデルよりも優れています。 私たちのアーキテクチャは一般的であり、望ましい下流タスクのグラフ情報をエンコードするために適用できます。

関連論文リスト

• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction [4.194768796374315]
  条件付きシーケンス生成問題としてフレーミングすることで、非構造化テキストから結合エンティティと関係抽出を行う新しい手法を提案する。 ノードがテキストスパンを表し、エッジが関係トリプレットを表す線形化グラフを生成する。 本手法では,スパンと関係型の動的語彙にポインティング機構を付加したトランスフォーマーエンコーダデコーダアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2024-01-02T18:32:14Z)
• Incorporating Graph Information in Transformer-based AMR Parsing [34.461828101932184]
  LeakDistillはTransformerアーキテクチャの変更を探求するモデルとメソッドである。 トレーニング時に,単語とノードのアライメントを用いてグラフ構造情報をエンコーダに埋め込むことで,最先端のAMR解析が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:12:08Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
  本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。 ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。 HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
  論文  参考訳（メタデータ） (2022-03-29T07:55:08Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• R2D2: Relational Text Decoding with Transformers [18.137828323277347]
  グラフ構造とそれらのノードとエッジに関連付けられた自然言語テキストとの相互作用をモデル化する新しいフレームワークを提案する。 提案手法は,グラフィカル構造とテキストのシーケンシャルな性質の両方を利用する。 提案モデルには幅広い応用があるが,データ・テキスト生成タスクにおけるその機能を示す。
  論文  参考訳（メタデータ） (2021-05-10T19:59:11Z)
• GTN-ED: Event Detection Using Graph Transformer Networks [12.96137943176861]
  本稿では,GTN(Graph Transformer Networks)という手法を用いて,依存関係とラベルの両方を組み込むための新しいフレームワークを提案する。 我々はgtnを統合し,既存の2つの均質グラフモデルへの依存関係を活用し,aceデータセットにおけるf1スコアの改善を示す。
  論文  参考訳（メタデータ） (2021-04-30T16:35:29Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。