論文の概要: Stage-wise Fine-tuning for Graph-to-Text Generation
- arxiv url: http://arxiv.org/abs/2105.08021v1
- Date: Mon, 17 May 2021 17:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-18 15:09:17.114646
- Title: Stage-wise Fine-tuning for Graph-to-Text Generation
- Title（参考訳）: グラフからテキストへの段階的微調整
- Authors: Qingyun Wang, Semih Yavuz, Victoria Lin, Heng Ji, Nazneen Rajani
- Abstract要約: グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。
本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
- 参考スコア（独自算出の注目度）: 25.379346921398326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-to-text generation has benefited from pre-trained language models
(PLMs) in achieving better performance than structured graph encoders. However,
they fail to fully utilize the structure information of the input graph. In
this paper, we aim to further improve the performance of the pre-trained
language model by proposing a structured graph-to-text model with a two-step
fine-tuning mechanism which first fine-tunes model on Wikipedia before adapting
to the graph-to-text generation. In addition to using the traditional token and
position embeddings to encode the knowledge graph (KG), we propose a novel
tree-level embedding method to capture the inter-dependency structures of the
input graph. This new approach has significantly improved the performance of
all text generation metrics for the English WebNLG 2017 dataset.
- Abstract（参考訳）: グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。
しかし、入力グラフの構造情報を十分に活用することができない。
本稿では,2段階の微調整機構を備えた構造化グラフ・トゥ・テキストモデルを提案することにより,事前学習された言語モデルの性能をさらに向上することを目的とする。
従来のトークンと位置埋め込みを用いて知識グラフ(KG)を符号化することに加えて,入力グラフの依存性間構造をキャプチャする新しいツリーレベルの埋め込み手法を提案する。
この新しいアプローチは、英語WebNLG 2017データセットのすべてのテキスト生成メトリクスのパフォーマンスを大幅に改善した。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Knowledge Graph Generation From Text [18.989264255589806]
そこで本研究では,テキスト入力から新たなエンド・ツー・エンドの知識グラフ(KG)生成システムを提案する。
グラフノードは、まず事前訓練された言語モデルを用いて生成され、次に単純なエッジ構築ヘッドが続く。
我々は,最新のWebNLG 2020 Challengeデータセットを用いて,テキストからRDF生成タスクにおける最先端のパフォーマンスとを一致させたモデルの評価を行った。
論文 参考訳（メタデータ） (2022-11-18T21:27:13Z) - Improving Graph-Based Text Representations with Character and Word Level
N-grams [30.699644290131044]
単語と文字n-gramノードを文書ノードと組み合わせた新しい単語文字テキストグラフを提案する。
また、提案したテキストグラフをモデル化するための2つの新しいグラフベースニューラルモデルWCTextGCNとWCTextGATを提案する。
論文 参考訳（メタデータ） (2022-10-12T08:07:54Z) - GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text
Generation [3.593955557310285]
KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。
ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
論文 参考訳（メタデータ） (2022-04-13T23:53:37Z) - JointGT: Graph-Text Joint Representation Learning for Text Generation
from Knowledge Graphs [44.06715423776722]
本論文では,ジョイントGTと呼ばれるグラフテキスト共同表現学習モデルを提案する。
エンコーディング中、各トランスフォーマー層にプラグインされた構造対応セマンティックアグリゲーションモジュールを考案した。
種々のKG-to-textデータセット上で,JointGTが新たな最先端性能を得ることを示す。
論文 参考訳（メタデータ） (2021-06-19T14:10:10Z) - GraphFormers: GNN-nested Transformers for Representation Learning on
Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。
提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。
さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文 参考訳（メタデータ） (2021-05-06T12:20:41Z) - Structural Adapters in Pretrained Language Models for AMR-to-text
Generation [59.50420985074769]
グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。
グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
論文 参考訳（メタデータ） (2021-03-16T15:06:50Z) - Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。
入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。
グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
論文 参考訳（メタデータ） (2021-02-12T20:09:01Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳（メタデータ） (2020-12-31T18:17:57Z) - Modeling Graph Structure via Relative Position for Text Generation from
Knowledge Graphs [54.176285420428776]
グラフ-テキスト生成のための新しいトランスフォーマーベースのエンコーダデコーダアーキテクチャであるGraformerを提案する。
新たなグラフの自己アテンションでは、ノードのエンコーディングは入力グラフのすべてのノードに依存します。
グレーフォーマーは、これらのノード-ノードの関係を異なるアテンションヘッドに対して異なる重み付けを学習し、入力グラフの異なる連結ビューを仮想的に学習する。
論文 参考訳（メタデータ） (2020-06-16T15:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。