論文の概要: Self-supervised Graph Masking Pre-training for Graph-to-Text Generation

• arxiv url: http://arxiv.org/abs/2210.10599v1
• Date: Wed, 19 Oct 2022 14:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 14:20:04.700978
• Title: Self-supervised Graph Masking Pre-training for Graph-to-Text Generation
• Title（参考訳）: グラフ-テキスト生成のための自己教師付きグラフマスキング事前学習
• Authors: Jiuzhou Han, Ehsan Shareghi
• Abstract要約: 大規模事前訓練言語モデル(PLM)は、グラフからテキストへ(G2T)を生成する。 本稿では、教師信号を必要としないグラフマスキング事前学習戦略と、基礎となる事前学習エンコーダ・デコーダモデルのアーキテクチャの調整を提案する。 提案手法は,WebNLG+ 2020およびEventNarrative G2T生成データセット上で,最先端の新たな結果を実現する。
• 参考スコア（独自算出の注目度）: 5.108327983929205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained language models (PLMs) have advanced Graph-to-Text (G2T) generation by processing the linearised version of a graph. However, the linearisation is known to ignore the structural information. Additionally, PLMs are typically pre-trained on free text which introduces domain mismatch between pre-training and downstream G2T generation tasks. To address these shortcomings, we propose graph masking pre-training strategies that neither require supervision signals nor adjust the architecture of the underlying pre-trained encoder-decoder model. When used with a pre-trained T5, our approach achieves new state-of-the-art results on WebNLG+2020 and EventNarrative G2T generation datasets. Our method also shows to be very effective in the low-resource setting.
• Abstract（参考訳）: 大規模事前学習型言語モデル(PLM)は、グラフの線形化バージョンを処理してグラフからテキストへ(G2T)を生成する。 しかし、線形化は構造情報を無視することが知られている。 加えて、PLMは通常、事前トレーニングと下流G2T生成タスクのドメインミスマッチをもたらすフリーテキストで事前トレーニングされる。 そこで本稿では,これらの欠点に対処するために,教師信号や基礎となるプリトレーニングエンコーダ・デコーダモデルのアーキテクチャを調整せずに,事前学習戦略をグラフマスキングすることを提案する。 本手法は,WebNLG+2020とEventNarrative G2T生成データセット上で,事前学習したT5を用いて新しい最先端結果を実現する。 提案手法は低リソース環境においても有効であることを示す。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• GraphGPT: Graph Learning with Generative Pre-trained Transformers [9.862004020075126]
  自己教師型生成事前学習変換器によるグラフ学習の新しいモデルである textitGraphGPT を紹介する。 我々のモデルでは,各グラフやサンプリングされたサブグラフを,ノード,エッジ,属性を表すトークン列に変換する。 生成前トレーニングにより、パフォーマンスを継続的に向上させることなく、最大4M以上のパラメータをGraphGPTでトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2023-12-31T16:19:30Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Learning Large Graph Property Prediction via Graph Segment Training [61.344814074335304]
  本稿では,メモリフットプリントを一定にして大きなグラフ特性予測を学習できる汎用フレームワークを提案する。 バックプロパゲーションのためにサンプリングされていないセグメントに対する埋め込みを効率的に得るために,歴史的埋め込みテーブルを導入することにより,GSTパラダイムを洗練する。 実験の結果,GST-EFDはメモリ効率が良く,高速でありながら,通常の全グラフ学習システムよりもテスト精度が若干向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T02:53:25Z)
• SGL-PT: A Strong Graph Learner with Graph Prompt Tuning [36.650472660276]
  そこで我々は,SGL-PTという新しいフレームワークを提案し,学習戦略であるPre-train, Prompt, Predict'に従う。 具体的には、生成的かつコントラスト的な自己教師付きグラフ学習の相補的メリットを得られるSGLと呼ばれる、強力で普遍的な事前学習タスクを提起する。 また, グラフ分類タスクを目標として, 事前学習と微調整を統一し, 従来のテキストタスクと同様の形式で下流タスクを再構成する, 新たな動詞フリープロンプト関数を設計する。
  論文  参考訳（メタデータ） (2023-02-24T04:31:18Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
  局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
  論文  参考訳（メタデータ） (2020-12-31T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。