論文の概要: Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling

• arxiv url: http://arxiv.org/abs/2104.07704v2
• Date: Fri, 2 Jun 2023 09:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 21:36:51.223483
• Title: Syntax-Aware Graph-to-Graph Transformer for Semantic Role Labelling
• Title（参考訳）: セマンティックロールラベリングのための構文対応グラフ-グラフ変換器
• Authors: Alireza Mohammadshahi, James Henderson
• Abstract要約: 本稿では,グラフ関係を埋め込みとして入力する新しい手法を用いて,構文構造を符号化する構文対応グラフ変換器(SynG2G-Tr)モデルを提案する。 このアプローチは、構文構造に従う注意パターンに対してソフトなバイアスを与えるが、モデルがこの情報を使って代替パターンを学ぶことを可能にする。 本研究では,スパンベースと依存性ベースの両方のSRLデータセット上でモデルを評価し,ドメイン内設定とドメイン外設定の両方において,従来の代替手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.028902306143102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent models have shown that incorporating syntactic knowledge into the semantic role labelling (SRL) task leads to a significant improvement. In this paper, we propose Syntax-aware Graph-to-Graph Transformer (SynG2G-Tr) model, which encodes the syntactic structure using a novel way to input graph relations as embeddings, directly into the self-attention mechanism of Transformer. This approach adds a soft bias towards attention patterns that follow the syntactic structure but also allows the model to use this information to learn alternative patterns. We evaluate our model on both span-based and dependency-based SRL datasets, and outperform previous alternative methods in both in-domain and out-of-domain settings, on CoNLL 2005 and CoNLL 2009 datasets.
• Abstract（参考訳）: 近年のモデルでは、構文知識を意味的役割ラベリング(SRL)タスクに組み込むことで、大幅な改善が示されている。 本稿では,グラフ関係を埋め込みとして入力する新しい手法を用いて構文構造を符号化する構文認識型グラフ・ツー・グラフトランスフォーマ(syng2g-tr)モデルを提案する。 このアプローチは、構文構造に従う注意パターンに対するソフトバイアスを付加するが、モデルはこの情報を使って別のパターンを学ぶことができる。 我々は,Span-based SRLデータセットとDependency-based SRLデータセットの両方でモデルを評価し,CoNLL 2005とCoNLL 2009データセットにおいて,ドメイン内およびドメイン外設定の両方で従来の代替手法よりも優れた性能を示した。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction [4.194768796374315]
  条件付きシーケンス生成問題としてフレーミングすることで、非構造化テキストから結合エンティティと関係抽出を行う新しい手法を提案する。 ノードがテキストスパンを表し、エッジが関係トリプレットを表す線形化グラフを生成する。 本手法では,スパンと関係型の動的語彙にポインティング機構を付加したトランスフォーマーエンコーダデコーダアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2024-01-02T18:32:14Z)
• Incorporating Graph Information in Transformer-based AMR Parsing [34.461828101932184]
  LeakDistillはTransformerアーキテクチャの変更を探求するモデルとメソッドである。 トレーニング時に,単語とノードのアライメントを用いてグラフ構造情報をエンコーダに埋め込むことで,最先端のAMR解析が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:12:08Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
  本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。 ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。 HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
  論文  参考訳（メタデータ） (2022-03-29T07:55:08Z)
• Structure-aware Fine-tuning of Sequence-to-sequence Transformers for Transition-based AMR Parsing [20.67024416678313]
  我々は、一般的な事前訓練されたシーケンス・ツー・シーケンス言語モデルと構造対応のトランジション・ベース・アプローチの統合について検討する。 構造化された微調整のための事前学習言語モデルをよりよく活用するために,単純化されたトランジションセットを提案する。 提案した解析アーキテクチャは,従来の遷移に基づくアプローチの望ましい特性を維持しつつ,グラフの再分類を必要とせず,AMR 2.0の最先端技術に到達していることを示す。
  論文  参考訳（メタデータ） (2021-10-29T04:36:31Z)
• TCL: Transformer-based Dynamic Graph Modelling via Contrastive Learning [87.38675639186405]
  我々は,動的に進化するグラフを連続的に扱う,TCLと呼ばれる新しいグラフニューラルネットワークアプローチを提案する。 我々の知る限りでは、これは動的グラフ上の表現学習にコントラスト学習を適用する最初の試みである。
  論文  参考訳（メタデータ） (2021-05-17T15:33:25Z)
• R2D2: Relational Text Decoding with Transformers [18.137828323277347]
  グラフ構造とそれらのノードとエッジに関連付けられた自然言語テキストとの相互作用をモデル化する新しいフレームワークを提案する。 提案手法は,グラフィカル構造とテキストのシーケンシャルな性質の両方を利用する。 提案モデルには幅広い応用があるが,データ・テキスト生成タスクにおけるその機能を示す。
  論文  参考訳（メタデータ） (2021-05-10T19:59:11Z)
• GTN-ED: Event Detection Using Graph Transformer Networks [12.96137943176861]
  本稿では,GTN(Graph Transformer Networks)という手法を用いて,依存関係とラベルの両方を組み込むための新しいフレームワークを提案する。 我々はgtnを統合し,既存の2つの均質グラフモデルへの依存関係を活用し,aceデータセットにおけるf1スコアの改善を示す。
  論文  参考訳（メタデータ） (2021-04-30T16:35:29Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。