論文の概要: Promoting Graph Awareness in Linearized Graph-to-Text Generation

• arxiv url: http://arxiv.org/abs/2012.15793v1
• Date: Thu, 31 Dec 2020 18:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:11:31.910855
• Title: Promoting Graph Awareness in Linearized Graph-to-Text Generation
• Title（参考訳）: 線形化グラフ-テキスト生成におけるグラフ認識の促進
• Authors: Alexander Hoyle, Ana Marasovi\'c, Noah Smith
• Abstract要約: 局所グラフ構造を符号化する線形化モデルの能力を検討する。 本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。 これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
• 参考スコア（独自算出の注目度）: 72.83863719868364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating text from structured inputs, such as meaning representations or RDF triples, has often involved the use of specialized graph-encoding neural networks. However, recent applications of pretrained transformers to linearizations of graph inputs have yielded state-of-the-art generation results on graph-to-text tasks. Here, we explore the ability of these linearized models to encode local graph structures, in particular their invariance to the graph linearization strategy and their ability to reconstruct corrupted inputs. Our findings motivate solutions to enrich the quality of models' implicit graph encodings via scaffolding. Namely, we use graph-denoising objectives implemented in a multi-task text-to-text framework. We find that these denoising scaffolds lead to substantial improvements in downstream generation in low-resource settings.
• Abstract（参考訳）: 意味表現やrdfトリプルのような構造化入力からテキストを生成することは、しばしば特殊なグラフエンコーディングニューラルネットワークの使用を伴う。 しかし、最近のグラフ入力の線形化への事前学習型変換器の応用は、グラフからテキストへのタスクにおける最先端生成結果をもたらしている。 本稿では,これらの線形化モデルが局所的なグラフ構造を符号化する可能性,特にグラフの線形化戦略に対する不変性,劣化した入力を再構成する能力について検討する。 本研究は,足場を通してモデルの暗黙のグラフエンコーディングの質を高めるためのソリューションを動機付けるものである。 すなわち、マルチタスクのテキスト・トゥ・テキスト・フレームワークに実装されたグラフのデノベーション・オブジェクトを使用する。 これらのデノナイジングの足場は,低リソース環境下でのダウンストリーム生成を大幅に改善することがわかった。

関連論文リスト

• Greener GRASS: Enhancing GNNs with Encoding, Rewiring, and Attention [12.409982249220812]
  本稿では,新しいGNNアーキテクチャであるGraph Attention with Structures (GRASS)を紹介する。 GRASSはランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を実現する。 また、グラフ構造化データに適した新しい付加的注意機構も採用している。
  論文  参考訳（メタデータ） (2024-07-08T06:21:56Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Explanation Graph Generation via Generative Pre-training over Synthetic Graphs [6.25568933262682]
  説明グラフの生成は,ユーザの入力に応じて説明グラフを作成することを目的とした重要なタスクである。 現在の研究では、ラベル付きグラフで注釈付けされた小さな下流データセット上で、テキストベースの事前学習言語モデルを微調整するのが一般的である。 本稿では,説明グラフ生成タスクのための新しい事前学習フレームワークEG3Pを提案する。
  論文  参考訳（メタデータ） (2023-06-01T13:20:22Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
  階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。 提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。 さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
  論文  参考訳（メタデータ） (2021-05-06T12:20:41Z)
• Structural Information Preserving for Graph-to-Text Generation [59.00642847499138]
  グラフ・トゥ・テキスト生成の課題は、入力グラフの意味を保存した文を生成することである。 入力情報を保存するためのモデルとして,より豊かなトレーニング信号を活用することで,この問題に取り組むことを提案する。 グラフからテキストへの生成のための2つのベンチマークに関する実験は、最先端のベースラインに対するアプローチの有効性を示しています。
  論文  参考訳（メタデータ） (2021-02-12T20:09:01Z)
• Scene Graph Modification Based on Natural Language Commands [90.0662899539489]
  グラフやパースツリーのような構造化表現は多くの自然言語処理システムにおいて重要な役割を果たす。 本稿では,新しい利用者の指示に応じて既存のグラフの更新方法を学ぶ必要がある,グラフ修正の新たな課題について考察する。
  論文  参考訳（メタデータ） (2020-10-06T10:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。