Fugu-MT 論文翻訳(概要): Evaluating Generative Models for Graph-to-Text Generation

論文の概要: Evaluating Generative Models for Graph-to-Text Generation

arxiv url: http://arxiv.org/abs/2307.14712v1
Date: Thu, 27 Jul 2023 09:03:05 GMT
ステータス: 処理完了
システム内更新日: 2023-07-28 15:11:32.510794
Title: Evaluating Generative Models for Graph-to-Text Generation
Title（参考訳）: グラフからテキストへの生成モデルの評価
Authors: Shuzhou Yuan and Michael F\"arber
Abstract要約: ゼロショット設定でグラフデータから記述テキストを生成するための生成モデルの能力について検討する。この結果から, 生成モデルにより, 流動的で一貫性のあるテキストを生成できることが示唆された。しかし, 誤り解析の結果, 生成モデルは実体間の意味的関係の理解に苦慮していることが明らかとなった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) have been widely employed for graph-to-text generation tasks. However, the process of finetuning LLMs requires significant training resources and annotation work. In this paper, we explore the capability of generative models to generate descriptive text from graph data in a zero-shot setting. Specifically, we evaluate GPT-3 and ChatGPT on two graph-to-text datasets and compare their performance with that of finetuned LLM models such as T5 and BART. Our results demonstrate that generative models are capable of generating fluent and coherent text, achieving BLEU scores of 10.57 and 11.08 for the AGENDA and WebNLG datasets, respectively. However, our error analysis reveals that generative models still struggle with understanding the semantic relations between entities, and they also tend to generate text with hallucinations or irrelevant information. As a part of error analysis, we utilize BERT to detect machine-generated text and achieve high macro-F1 scores. We have made the text generated by generative models publicly available.
Abstract（参考訳）: 大規模言語モデル(LLM)は、グラフからテキストへの生成タスクに広く使われている。しかし、LLMを微調整するプロセスには、かなりのトレーニングリソースとアノテーション作業が必要である。本稿では,ゼロショット設定でグラフデータから記述テキストを生成する生成モデルの有用性について検討する。具体的には、GPT-3とChatGPTを2つのグラフ・テキスト・データセット上で評価し、その性能をT5やBARTのような微調整LLMモデルと比較する。その結果, 生成モデルは, アジェンダデータセットとwebnlgデータセットでそれぞれ10.57点, 11.08点のbleuスコアが得られる。しかし, 誤り解析の結果, 生成モデルは実体間の意味的関係の理解に苦慮し, 幻覚や無関係な情報を含むテキストを生成する傾向にあることが明らかとなった。誤り解析の一環として,マシン生成テキストの検出とマクロf1スコアの達成にbertを用いる。生成モデルによって生成されたテキストを公開しました。

関連論文リスト

Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
論文参考訳（メタデータ） (2024-06-28T19:34:23Z)
Prompt-based vs. Fine-tuned LLMs Toward Causal Graph Verification [0.0]
本研究の目的は,テキストソースを用いた因果グラフの自動検証に自然言語処理(NLP)技術を適用することである。我々は,(1)因果関係分類タスク用に微調整された事前学習言語モデルと(2)プロンプトベースLPMの2種類のNLPモデルの性能を比較した。
論文参考訳（メタデータ） (2024-05-29T09:06:18Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
Triples-to-isiXhosa (T2X): Addressing the Challenges of Low-Resource Agglutinative Data-to-Text Generation [9.80836683456026]
我々は,低リソースかつ凝集性の高いisiXhosaのデータ・トゥ・テキストに取り組む。我々はWebNLGのサブセットに基づいた新しいデータセットであるTriples-to-isiXhosa (T2X)を紹介する。本研究では,T2X の評価フレームワークを開発し,データ記述の精度を計測する。
論文参考訳（メタデータ） (2024-03-12T11:53:27Z)
Distilling Large Language Models for Text-Attributed Graph Learning [16.447635770220334]
Text-Attributed Graphs (TAG) は、接続されたテキストドキュメントのグラフである。グラフモデルはTAGを効率的に学習できるが、トレーニングは人間にアノテートされたラベルに大きく依存している。大規模言語モデル(LLM)は、最近、少数ショットとゼロショットのTAG学習において顕著な能力を示した。
論文参考訳（メタデータ） (2024-02-19T10:31:53Z)
Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
論文参考訳（メタデータ） (2023-12-21T11:45:28Z)
Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
論文参考訳（メタデータ） (2023-10-15T16:04:28Z)
Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs [4.56877715768796]
我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
論文参考訳（メタデータ） (2023-07-14T12:45:03Z)
Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。提案手法は、確立されたTAGデータセットの最先端結果を実現する。本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文参考訳（メタデータ） (2023-05-31T03:18:03Z)
Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
論文参考訳（メタデータ） (2020-12-18T15:53:50Z)
KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文参考訳（メタデータ） (2020-10-05T19:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。