論文の概要: Graph-to-Text Generation with Dynamic Structure Pruning
- arxiv url: http://arxiv.org/abs/2209.07258v1
- Date: Thu, 15 Sep 2022 12:48:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:40:18.760919
- Title: Graph-to-Text Generation with Dynamic Structure Pruning
- Title（参考訳）: 動的構造解析によるグラフ・テキスト生成
- Authors: Liang Li, Ruiying Geng, Bowen Li, Can Ma, Yinliang Yue, Binhua Li, and
Yongbin Li
- Abstract要約: 入力グラフ表現条件を新たに生成したコンテキストに再エンコードする構造認識型クロスアテンション(SACA)機構を提案する。
LDC 2020T02 と ENT-DESC の2つのグラフ・トゥ・テキスト・データセットに対して,計算コストをわずかに増加させるだけで,最先端の新たな結果が得られる。
- 参考スコア（独自算出の注目度）: 19.37474618180399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most graph-to-text works are built on the encoder-decoder framework with
cross-attention mechanism. Recent studies have shown that explicitly modeling
the input graph structure can significantly improve the performance. However,
the vanilla structural encoder cannot capture all specialized information in a
single forward pass for all decoding steps, resulting in inaccurate semantic
representations. Meanwhile, the input graph is flatted as an unordered sequence
in the cross attention, ignoring the original graph structure. As a result, the
obtained input graph context vector in the decoder may be flawed. To address
these issues, we propose a Structure-Aware Cross-Attention (SACA) mechanism to
re-encode the input graph representation conditioning on the newly generated
context at each decoding step in a structure aware manner. We further adapt
SACA and introduce its variant Dynamic Graph Pruning (DGP) mechanism to
dynamically drop irrelevant nodes in the decoding process. We achieve new
state-of-the-art results on two graph-to-text datasets, LDC2020T02 and
ENT-DESC, with only minor increase on computational cost.
- Abstract（参考訳）: ほとんどのグラフからテキストへの作業は、クロスアテンション機構を備えたエンコーダ・デコーダフレームワーク上に構築されている。
近年の研究では、入力グラフ構造を明示的にモデル化することで、パフォーマンスが大幅に向上することが示されている。
しかしながら、バニラ構造エンコーダは、すべてのデコードステップに対して単一のフォワードパスで全ての特殊情報をキャプチャできないため、不正確なセマンティック表現をもたらす。
一方、入力グラフは、元のグラフ構造を無視して、クロスアテンション内の非順序列としてフラット化される。
これにより、デコーダ内の取得した入力グラフコンテキストベクトルに欠陥が生じる可能性がある。
そこで本研究では,各デコードステップにおいて新たに生成されたコンテキストで入力グラフ表現条件付けを再エンコードするための構造認識クロスアテンション(saca)機構を提案する。
我々はさらにSACAに適応し、復号処理において無関係ノードを動的にドロップする動的グラフプルーニング(DGP)機構を導入する。
LDC 2020T02 と ENT-DESC の2つのグラフ・トゥ・テキスト・データセットに対して,計算コストをわずかに増加させるだけで,最新の結果が得られる。
関連論文リスト
- Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention [12.409982249220812]
本稿では,新しいGNNアーキテクチャであるGraph Attention with Structures (GRASS)を紹介する。
GRASSはランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を実現する。
また、グラフ構造化データに適した新しい付加的注意機構も採用している。
論文 参考訳（メタデータ） (2024-07-08T06:21:56Z) - A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文 参考訳（メタデータ） (2024-01-31T12:33:31Z) - Discrete Graph Auto-Encoder [52.50288418639075]
離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。
まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。
2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
論文 参考訳（メタデータ） (2023-06-13T12:40:39Z) - Self-Attention in Colors: Another Take on Encoding Graph Structure in
Transformers [25.683127388426175]
CSA(Chromatic Self-Attention)と呼ばれる新しい自己認識機構を導入する。
完全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)におけるCSAの紹介
論文 参考訳（メタデータ） (2023-04-21T13:08:53Z) - GraphMAE: Self-Supervised Masked Graph Autoencoders [52.06140191214428]
本稿では,自己教師付きグラフ学習における課題を軽減するマスク付きグラフオートエンコーダGraphMAEを提案する。
我々は3つの異なるグラフ学習タスクに対して、21の公開データセットに関する広範な実験を行った。
その結果,GraphMAEはグラフオートエンコーダであり,設計に注意を払っている。
論文 参考訳（メタデータ） (2022-05-22T11:57:08Z) - Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。
本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。
我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
論文 参考訳（メタデータ） (2022-02-07T09:53:39Z) - Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。
入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。
グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
論文 参考訳（メタデータ） (2021-02-12T20:09:01Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳（メタデータ） (2020-12-31T18:17:57Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳（メタデータ） (2020-10-09T07:35:26Z) - Graph-Aware Transformer: Is Attention All Graphs Need? [5.240000443825077]
GRaph-Aware Transformer (GRAT)はTransformerベースの最初のモデルであり、グラフ全体をエンドツーエンドでエンコードしデコードすることができる。
GRATはQM9ベンチマークで4つの回帰タスクに対する最先端のパフォーマンスを含む非常に有望な結果を示している。
論文 参考訳（メタデータ） (2020-06-09T12:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。