論文の概要: Incorporating Graph Information in Transformer-based AMR Parsing

• arxiv url: http://arxiv.org/abs/2306.13467v1
• Date: Fri, 23 Jun 2023 12:12:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 12:45:38.127336
• Title: Incorporating Graph Information in Transformer-based AMR Parsing
• Title（参考訳）: 変換器を用いたamr解析におけるグラフ情報の導入
• Authors: Pavlo Vasylenko, Pere-Llu\'is Huguet Cabot, Abelardo Carlos Mart\'inez Lorenzo, Roberto Navigli
• Abstract要約: LeakDistillはTransformerアーキテクチャの変更を探求するモデルとメソッドである。 トレーニング時に,単語とノードのアライメントを用いてグラフ構造情報をエンコーダに埋め込むことで,最先端のAMR解析が得られることを示す。
• 参考スコア（独自算出の注目度）: 34.461828101932184
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Abstract Meaning Representation (AMR) is a Semantic Parsing formalism that aims at providing a semantic graph abstraction representing a given text. Current approaches are based on autoregressive language models such as BART or T5, fine-tuned through Teacher Forcing to obtain a linearized version of the AMR graph from a sentence. In this paper, we present LeakDistill, a model and method that explores a modification to the Transformer architecture, using structural adapters to explicitly incorporate graph information into the learned representations and improve AMR parsing performance. Our experiments show how, by employing word-to-node alignment to embed graph structural information into the encoder at training time, we can obtain state-of-the-art AMR parsing through self-knowledge distillation, even without the use of additional data. We release the code at \url{http://www.github.com/sapienzanlp/LeakDistill}.
• Abstract（参考訳）: 抽象的意味表現(英:Abstract Meaning Representation, AMR)は、あるテキストを表すセマンティックグラフの抽象化を提供することを目的としたセマンティック解析形式である。 現在のアプローチは、BARTやT5といった自動回帰言語モデルに基づいており、Teacher Forcingを通じて微調整され、文からAMRグラフの線形化バージョンを得る。 本稿では,トランスフォーマーアーキテクチャの修正を探求するモデルと手法である leakdistill について述べる。構造アダプタを用いて,学習表現にグラフ情報を明示的に組み込むことにより,amr解析性能を向上させる。 実験では, 単語-ノードアライメントを用いて, 学習時にグラフ構造情報をエンコーダに埋め込むことにより, 付加データを用いなくても, 自己知識蒸留により, 最先端のAMR解析が可能であることを示した。 コードは \url{http://www.github.com/sapienzanlp/leakdistill} でリリースします。

関連論文リスト

• AMR Parsing with Causal Hierarchical Attention and Pointers [54.382865897298046]
  因果的階層的注意とポインタ機構を備えた新しいAMR解析と新しいモデルCHAPを導入する。 実験の結果, 5つのベンチマークのうち4つのベースラインモデルでは, 追加データがない場合に, ベースラインモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-10-18T13:44:26Z)
• An AMR-based Link Prediction Approach for Document-level Event Argument Extraction [51.77733454436013]
  文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向 本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。 本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:07:48Z)
• Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters [5.468547489755107]
  AMR-to-Text生成における相対的位置埋め込み(RPE)の影響について検討する。 アブレーション研究、グラフアタック、リンク予測を通じて、RPEが部分的に入力グラフを符号化していることを明らかにする。 RPEの役割に関するさらなる研究は、グラフ・トゥ・テキスト・ジェネレーションに価値ある洞察をもたらすだろう。
  論文  参考訳（メタデータ） (2023-02-12T12:43:36Z)
• What does Transformer learn about source code? [26.674180481543264]
  トランスをベースとした表現モデルは、多くのタスクで最先端(SOTA)のパフォーマンスを達成した。 本稿では,変換器が学習した構造情報を調べる手法であるアグリゲートアテンションスコアを提案する。 また、事前学習したモデルからプログラムグラフを自動的に抽出する新しい方法である、集約されたアテンショングラフも提案した。
  論文  参考訳（メタデータ） (2022-07-18T09:33:04Z)
• Relphormer: Relational Graph Transformer for Knowledge Graph Representations [25.40961076988176]
  本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。 本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。 6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-05-22T15:30:18Z)
• Graph Pre-training for AMR Parsing and Generation [14.228434699363495]
  AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。 本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
  論文  参考訳（メタデータ） (2022-03-15T12:47:00Z)
• Dependency Parsing based Semantic Representation Learning with Graph Neural Network for Enhancing Expressiveness of Text-to-Speech [49.05471750563229]
  文の依存性関係を考慮したグラフニューラルネットワークに基づく意味表現学習手法を提案する。 提案手法は,LJSpeech と Bilzzard Challenge 2013 のデータセットにおいて,バニラBERT の機能をベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-14T13:09:51Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• A Differentiable Relaxation of Graph Segmentation and Alignment for AMR Parsing [75.36126971685034]
  我々は、アライメントとセグメンテーションをモデルの潜在変数として扱い、エンドツーエンドのトレーニングの一部としてそれらを誘導する。 また,AMRの個々の構造を扱うために手作りされたLyu2018AMRPAのセグメンテーションルールに依存するモデルにもアプローチした。
  論文  参考訳（メタデータ） (2020-10-23T21:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。