論文の概要: Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters

• arxiv url: http://arxiv.org/abs/2302.05900v1
• Date: Sun, 12 Feb 2023 12:43:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 17:57:55.703090
• Title: Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters
• Title（参考訳）: 構造アダプタを用いたAMR-テキスト生成における相対的位置埋め込みの効果の検討
• Authors: Sebastien Montella, Alexis Nasr, Johannes Heinecke, Frederic Bechet, Lina M. Rojas-Barahona
• Abstract要約: AMR-to-Text生成における相対的位置埋め込み(RPE)の影響について検討する。 アブレーション研究、グラフアタック、リンク予測を通じて、RPEが部分的に入力グラフを符号化していることを明らかにする。 RPEの役割に関するさらなる研究は、グラフ・トゥ・テキスト・ジェネレーションに価値ある洞察をもたらすだろう。
• 参考スコア（独自算出の注目度）: 5.468547489755107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text generation from Abstract Meaning Representation (AMR) has substantially benefited from the popularized Pretrained Language Models (PLMs). Myriad approaches have linearized the input graph as a sequence of tokens to fit the PLM tokenization requirements. Nevertheless, this transformation jeopardizes the structural integrity of the graph and is therefore detrimental to its resulting representation. To overcome this issue, Ribeiro et al. have recently proposed StructAdapt, a structure-aware adapter which injects the input graph connectivity within PLMs using Graph Neural Networks (GNNs). In this paper, we investigate the influence of Relative Position Embeddings (RPE) on AMR-to-Text, and, in parallel, we examine the robustness of StructAdapt. Through ablation studies, graph attack and link prediction, we reveal that RPE might be partially encoding input graphs. We suggest further research regarding the role of RPE will provide valuable insights for Graph-to-Text generation.
• Abstract（参考訳）: AMR(Abstract Meaning Representation)によるテキスト生成は、広く普及しているPLM(Pretrained Language Models)の恩恵を受けている。 マイリアッドアプローチは、PLMトークン化要求に適合するトークンの列として入力グラフを線形化している。 しかし、この変換はグラフの構造的整合性を損なうため、結果として得られる表現に有害である。 この問題を解決するため、Ribeiroらは最近、Graph Neural Networks (GNN)を使用してPLM内に入力グラフ接続を注入する構造対応アダプタであるStructAdaptを提案した。 本稿では,AMR-to-Textにおける相対的位置埋め込み(RPE)の影響について検討し,StructAdaptのロバスト性について検討する。 アブレーション研究、グラフアタック、リンク予測を通じて、RPEが部分的に入力グラフを符号化していることを明らかにする。 RPEの役割に関するさらなる研究は、グラフからテキストへの生成に有用な洞察を提供するだろう。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Graph-level Protein Representation Learning by Structure Knowledge Refinement [50.775264276189695]
  本稿では、教師なしの方法でグラフ全体の表現を学習することに焦点を当てる。 本稿では、データ構造を用いて、ペアが正か負かの確率を決定する構造知識精製(Structure Knowledge Refinement, SKR)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-05T09:05:33Z)
• Incorporating Graph Information in Transformer-based AMR Parsing [34.461828101932184]
  LeakDistillはTransformerアーキテクチャの変更を探求するモデルとメソッドである。 トレーニング時に,単語とノードのアライメントを用いてグラフ構造情報をエンコーダに埋め込むことで,最先端のAMR解析が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:12:08Z)
• An AMR-based Link Prediction Approach for Document-level Event Argument Extraction [51.77733454436013]
  文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向 本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。 本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:07:48Z)
• Graph Pre-training for AMR Parsing and Generation [14.228434699363495]
  AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。 本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
  論文  参考訳（メタデータ） (2022-03-15T12:47:00Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)
• Lightweight, Dynamic Graph Convolutional Networks for AMR-to-Text Generation [56.73834525802723]
  軽量な動的グラフ畳み込みネットワーク (LDGCN) を提案する。 LDGCNは入力グラフから高次情報を合成することにより、よりリッチな非局所的な相互作用をキャプチャする。 我々は,グループグラフの畳み込みと重み付き畳み込みに基づく2つの新しいパラメータ保存戦略を開発し,メモリ使用量とモデル複雑性を低減する。
  論文  参考訳（メタデータ） (2020-10-09T06:03:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。