論文の概要: Graph Pre-training for AMR Parsing and Generation

• arxiv url: http://arxiv.org/abs/2203.07836v1
• Date: Tue, 15 Mar 2022 12:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 23:27:12.668720
• Title: Graph Pre-training for AMR Parsing and Generation
• Title（参考訳）: AMR解析と生成のためのグラフ事前学習
• Authors: Xuefeng Bai, Yulong Chen, Yue Zhang
• Abstract要約: AMRグラフ上でのPLMの構造認識を改善するために,グラフ自己教師訓練について検討する。 本稿では,グラフ間事前学習のための2つのグラフ自動符号化戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを紹介する。
• 参考スコア（独自算出の注目度）: 14.228434699363495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstract meaning representation (AMR) highlights the core semantic information of text in a graph structure. Recently, pre-trained language models (PLMs) have advanced tasks of AMR parsing and AMR-to-text generation, respectively. However, PLMs are typically pre-trained on textual data, thus are sub-optimal for modeling structural knowledge. To this end, we investigate graph self-supervised training to improve the structure awareness of PLMs over AMR graphs. In particular, we introduce two graph auto-encoding strategies for graph-to-graph pre-training and four tasks to integrate text and graph information during pre-training. We further design a unified framework to bridge the gap between pre-training and fine-tuning tasks. Experiments on both AMR parsing and AMR-to-text generation show the superiority of our model. To our knowledge, we are the first to consider pre-training on semantic graphs.
• Abstract（参考訳）: 抽象意味表現(AMR)は、グラフ構造におけるテキストのコアセマンティック情報を強調する。 近年、プレトレーニング言語モデル (PLM) は、それぞれAMR解析とAMR-to-text生成の高度なタスクを持っている。 しかし、plmは通常、テキストデータに基づいて事前学習されるため、構造知識のモデリングには最適ではない。 そこで本稿では,AMRグラフ上のPLMの構造認識を改善するために,グラフ自己教師型トレーニングについて検討する。 特に,グラフ間事前学習のための2つのグラフ自動エンコーディング戦略と,事前学習中にテキストとグラフ情報を統合するための4つのタスクを導入する。 さらに、事前学習と微調整のギャップを埋める統一的なフレームワークを設計する。 AMR解析とAMR-to-text生成の両方の実験により,本モデルの有用性が示された。 私たちの知識では、セマンティックグラフの事前学習を最初に検討しています。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Incorporating Graph Information in Transformer-based AMR Parsing [34.461828101932184]
  LeakDistillはTransformerアーキテクチャの変更を探求するモデルとメソッドである。 トレーニング時に,単語とノードのアライメントを用いてグラフ構造情報をエンコーダに埋め込むことで,最先端のAMR解析が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-23T12:12:08Z)
• PRODIGY: Enabling In-context Learning Over Graphs [112.19056551153454]
  コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。 ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
  論文  参考訳（メタデータ） (2023-05-21T23:16:30Z)
• Self-supervised Graph Masking Pre-training for Graph-to-Text Generation [5.108327983929205]
  大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。 本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。 提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2022-10-19T14:44:56Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。