論文の概要: Investigating Pretrained Language Models for Graph-to-Text Generation
- arxiv url: http://arxiv.org/abs/2007.08426v3
- Date: Mon, 27 Sep 2021 13:50:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 23:07:02.978619
- Title: Investigating Pretrained Language Models for Graph-to-Text Generation
- Title(参考訳): グラフ-テキスト生成のための事前学習言語モデルの検討
- Authors: Leonardo F. R. Ribeiro, Martin Schmitt, Hinrich Sch\"utze, Iryna
Gurevych
- Abstract要約: Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。
本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。
我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
- 参考スコア(独自算出の注目度): 55.55151069694146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-to-text generation aims to generate fluent texts from graph-based data.
In this paper, we investigate two recently proposed pretrained language models
(PLMs) and analyze the impact of different task-adaptive pretraining strategies
for PLMs in graph-to-text generation. We present a study across three graph
domains: meaning representations, Wikipedia knowledge graphs (KGs) and
scientific KGs. We show that the PLMs BART and T5 achieve new state-of-the-art
results and that task-adaptive pretraining strategies improve their performance
even further. In particular, we report new state-of-the-art BLEU scores of
49.72 on LDC2017T10, 59.70 on WebNLG, and 25.66 on AGENDA datasets - a relative
improvement of 31.8%, 4.5%, and 42.4%, respectively. In an extensive analysis,
we identify possible reasons for the PLMs' success on graph-to-text tasks. We
find evidence that their knowledge about true facts helps them perform well
even when the input graph representation is reduced to a simple bag of node and
edge labels.
- Abstract(参考訳): graph-to-text生成は、グラフベースのデータから流れるテキストを生成することを目的としている。
本稿では,最近提案された2つの事前学習言語モデル(plm)について検討し,グラフからテキストへの生成におけるplmに対するタスク適応型事前学習戦略の影響を分析する。
本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。
我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
特に, LDC2017T10では49.72, WebNLGでは59.70, AGENDAデータセットでは25.66, AGENDAデータセットでは31.8%, 4.5%, 42.4%がそれぞれ改善された。
広範な分析により,plmsがグラフからテキストへのタスクで成功した理由を明らかにした。
入力グラフ表現が単純なノードラベルとエッジラベルの袋に縮小された場合でも、真の事実に関する彼らの知識がうまく機能する証拠を見つける。
関連論文リスト
- Narrating Causal Graphs with Large Language Models [1.437446768735628]
本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。
これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。
結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
論文 参考訳(メタデータ) (2024-03-11T19:19:59Z) - Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。
まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。
本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
論文 参考訳(メタデータ) (2023-12-05T14:14:27Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳(メタデータ) (2023-05-31T03:18:03Z) - GPT4Graph: Can Large Language Models Understand Graph Structured Data ?
An Empirical Evaluation and Benchmarking [17.7473474499538]
ChatGPTのような大規模言語モデルは、人工知能にとって欠かせないものとなっている。
本研究では,グラフデータの解釈において,LLMの精度を評価するための調査を行う。
この知見は,言語モデルとグラフ理解のギャップを埋めるための貴重な洞察に寄与する。
論文 参考訳(メタデータ) (2023-05-24T11:53:19Z) - Connecting the Dots: What Graph-Based Text Representations Work Best for
Text Classification Using Graph Neural Networks? [25.898812694174772]
本研究は,テキスト分類のためのグラフ表現手法を幅広く研究する。
各種GNNアーキテクチャとセットアップを用いて,グラフ構築方式を比較した。
2つのTransformerベースの大規模言語モデルもこの研究を補完するために含まれている。
論文 参考訳(メタデータ) (2023-05-23T23:31:24Z) - PRODIGY: Enabling In-context Learning Over Graphs [112.19056551153454]
コンテキスト内学習(In-context learning)とは、事前訓練されたモデルが、新しい多様な下流タスクに適応する能力である。
ProDIGYは,グラフ上でのコンテキスト内学習を可能にする最初の事前学習フレームワークである。
論文 参考訳(メタデータ) (2023-05-21T23:16:30Z) - A Survey of Pretraining on Graphs: Taxonomy, Methods, and Applications [38.57023440288189]
我々は、事前学習グラフモデル(PGM)に関する最初の包括的調査を提供する。
まず、グラフ表現学習の限界を示し、グラフ事前学習のモチベーションを導入する。
次に,PGMのソーシャルレコメンデーションおよび薬物発見への応用について述べる。
論文 参考訳(メタデータ) (2022-02-16T07:00:52Z) - Promoting Graph Awareness in Linearized Graph-to-Text Generation [72.83863719868364]
局所グラフ構造を符号化する線形化モデルの能力を検討する。
本研究は,モデルの暗黙のグラフ符号化の品質を高めるための解法である。
これらの消音足場は、低リソース設定における下流生成の大幅な改善につながることが分かりました。
論文 参考訳(メタデータ) (2020-12-31T18:17:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。