論文の概要: Unifying Structured Data as Graph for Data-to-Text Pre-Training

• arxiv url: http://arxiv.org/abs/2401.01183v1
• Date: Tue, 2 Jan 2024 12:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 14:00:56.390020
• Title: Unifying Structured Data as Graph for Data-to-Text Pre-Training
• Title（参考訳）: データからテキストへの事前学習のための構造化データのグラフ化
• Authors: Shujie Li, Liang Li, Ruiying Geng, Min Yang, Binhua Li, Guanghu Yuan, Wanwei He, Shao Yuan, Can Ma, Fei Huang, and Yongbin Li
• Abstract要約: Data-to-text (D2T) の生成は、構造化されたデータを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明された。 構造強化トランスを設計し,D2T生成のための構造強化事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 69.96195162337793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-to-text (D2T) generation aims to transform structured data into natural language text. Data-to-text pre-training has proved to be powerful in enhancing D2T generation and yields impressive performances. However, previous pre-training methods either oversimplified structured data into a sequence without considering input structures or designed training objectives tailored for a specific data structure (e.g., table or knowledge graph). In this paper, we unify different types of structured data (i.e., table, key-value data, knowledge graph) into the graph format and cast different data-to-text generation tasks as graph-to-text generation. To effectively exploit the structural information of the input graph, we propose a structure-enhanced pre-training method for D2T generation by designing a structure-enhanced Transformer. Concretely, we devise a position matrix for the Transformer, encoding relative positional information of connected nodes in the input graph. In addition, we propose a new attention matrix to incorporate graph structures into the original Transformer by taking the available explicit connectivity structure into account. Extensive experiments on six benchmark datasets show the effectiveness of our model. Our source codes are available at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/unid2t.
• Abstract（参考訳）: data-to-text (d2t) 生成は構造化データを自然言語テキストに変換することを目的としている。 データからテキストへの事前学習は、D2T生成の強化に強力であることが証明され、優れた性能が得られる。 しかし、以前の事前学習手法では、入力構造を考慮せずに構造化データをシーケンスに過度に単純化したり、特定のデータ構造(表や知識グラフなど)に適した訓練目標を設計したりしていた。 本稿では,異なる種類の構造化データ(表,キー値データ,知識グラフ)をグラフ形式に統合し,異なるデータ対テキスト生成タスクをグラフ対テキスト生成としてキャストする。 入力グラフの構造情報を効果的に活用するために,構造強化変換器を設計し,D2T生成のための構造強化事前学習手法を提案する。 具体的には、入力グラフ内の連結ノードの位置情報を相対的に符号化するトランスフォーマーの位置行列を考案する。 さらに,利用可能な明示的な接続構造を考慮に入れて,グラフ構造を元のトランスに組み込む新しい注意行列を提案する。 6つのベンチマークデータセットに関する広範囲な実験により,モデルの有効性が示された。 ソースコードはhttps://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/unid2tで公開しています。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Faithful Low-Resource Data-to-Text Generation through Cycle Training [14.375070014155817]
  近年,構造化データからテキストを生成する手法が大幅に進歩している。 サイクルトレーニングでは、互いに逆転する2つのモデルを使用する。 サイクルトレーニングが完全に教師付きアプローチとほぼ同等のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:44:42Z)
• Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
  TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。 第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。 これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
  論文  参考訳（メタデータ） (2022-08-11T22:42:24Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• DAGAM: Data Augmentation with Generation And Modification [3.063234089519162]
  事前訓練された言語モデルでは、モデルのサイズが非常に大きいため、不適合がしばしば発生する。 本稿では,大規模言語モデルの不適合問題を軽減するために,3つのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T07:20:45Z)
• Data-to-text Generation with Variational Sequential Planning [74.3955521225497]
  非言語的な入力からテキスト出力を生成することを目的としたデータ・ツー・テキスト生成の課題について考察する。 協調的かつ有意義な方法で高レベルの情報を整理する責任を負う計画要素を付加したニューラルモデルを提案する。 我々は、計画と生成のステップをインターリーブしながら、構造化された変動モデルで逐次、潜在計画を推測する。
  論文  参考訳（メタデータ） (2022-02-28T13:17:59Z)
• Stage-wise Fine-tuning for Graph-to-Text Generation [25.379346921398326]
  グラフからテキストへの生成は、構造化グラフエンコーダよりも優れたパフォーマンスを達成するための事前学習言語モデル(plm)の恩恵を受けている。 本研究では, ウィキペディアで最初に微調整を行い, グラフ・テキスト生成に適応する構造化グラフ・トゥ・テキストモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-17T17:15:29Z)
• Structural Adapters in Pretrained Language Models for AMR-to-text Generation [59.50420985074769]
  グラフ構造データからのテキスト生成に関するこれまでの研究は、事前学習言語モデル(plm)に依存している。 グラフ構造をPLMにエンコードするアダプタ法であるStructAdaptを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。