論文の概要: Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2307.07312v2
• Date: Tue, 22 Aug 2023 14:10:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 20:37:38.589152
• Title: Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
• Title（参考訳）: 知識グラフからのゼロショット自然言語生成のための大規模言語モデルの利用
• Authors: Agnes Axelsson and Gabriel Skantze
• Abstract要約: 我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。 また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
• 参考スコア（独自算出の注目度）: 4.56877715768796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In any system that uses structured knowledge graph (KG) data as its underlying knowledge representation, KG-to-text generation is a useful tool for turning parts of the graph data into text that can be understood by humans. Recent work has shown that models that make use of pretraining on large amounts of text data can perform well on the KG-to-text task even with relatively small sets of training data on the specific graph-to-text task. In this paper, we build on this concept by using large language models to perform zero-shot generation based on nothing but the model's understanding of the triple structure from what it can read. We show that ChatGPT achieves near state-of-the-art performance on some measures of the WebNLG 2020 challenge, but falls behind on others. Additionally, we compare factual, counter-factual and fictional statements, and show that there is a significant connection between what the LLM already knows about the data it is parsing and the quality of the output text.
• Abstract（参考訳）: 構造化知識グラフ(kg)データを基礎知識表現として使用するシステムでは、kg-to-text生成は、グラフデータの一部を人間が理解できるテキストに変換するのに有用なツールである。 近年の研究では,KG-to-textタスクにおいて,特定のグラフ-to-textタスクのトレーニングデータセットが比較的小さい場合でも,大量のテキストデータに対する事前学習を利用するモデルが良好に動作できることが示されている。 本稿では,この概念を大規模言語モデルを用いて構築し,モデルが読み取ることのできる3重構造に対する理解のみに基づいてゼロショット生成を行う。 私たちは、chatgptがwebnlg 2020チャレンジのいくつかの尺度で最先端のパフォーマンスを達成していることを示しています。 さらに、事実、反事実、虚偽の文を比較し、LLMが解析しているデータと出力テキストの品質について既に知っているものの間に有意な関連性があることを示します。

関連論文リスト

• Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
  Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。 グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。 我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-04-28T18:36:59Z)
• Narrating Causal Graphs with Large Language Models [1.437446768735628]
  本研究では、因果グラフからテキストを生成するための、大規模事前学習言語モデルの能力について検討する。 これらのグラフにエンコードされた因果推論は、医療やマーケティングのような多様なアプリケーションをサポートすることができる。 結果として、生成AIのユーザは、いくつかの例だけでモデルをトレーニングするときに、同様のパフォーマンスが得られるため、将来のアプリケーションをより早くデプロイできる可能性が示唆されている。
  論文  参考訳（メタデータ） (2024-03-11T19:19:59Z)
• Large Language Models on Graphs: A Comprehensive Survey [81.7684686396014]
  グラフ上の大規模言語モデルに関連するシナリオとテクニックを体系的にレビューする。 まず,LLMをグラフに適用する可能性シナリオを,純グラフ,テキスト分散グラフ,テキストペアグラフの3つのカテゴリにまとめる。 本稿では,そのような手法の現実的な応用について論じ,オープンソースコードとベンチマークデータセットを要約する。
  論文  参考訳（メタデータ） (2023-12-05T14:14:27Z)
• Generating Faithful Text From a Knowledge Graph with Noisy Reference Text [26.6775578332187]
  与えられたグラフから忠実な自然言語テキストを生成することができるKG-to-text生成モデルを開発した。 まず、コントラスト学習を利用して、テキスト内の忠実な情報と幻覚的な情報を区別するモデルの能力を強化する。 第2に、制御可能なテキスト生成技術を用いて、デコーダに生成したテキストの幻覚レベルを制御する権限を与える。
  論文  参考訳（メタデータ） (2023-08-12T07:12:45Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation [3.593955557310285]
  KG-to-text生成の最近の改善は、微調整タスクの性能を高めるために設計された補助的な事前訓練タスクによるものである。 ここでは、既存の事前学習言語モデルにグラフ認識要素を融合させることで、最先端のモデルより優れ、追加の事前学習タスクによって課されるギャップを埋めることができることを示す。
  論文  参考訳（メタデータ） (2022-04-13T23:53:37Z)
• EventNarrative: A large-scale Event-centric Dataset for Knowledge Graph-to-Text Generation [8.216976747904726]
  EventNarrativeは,約23万のグラフと,対応する自然言語テキストで構成されている。 私たちの目標は2つある – データが不足しているイベント中心の研究において,新たな基盤を突破する上で,研究者が明確に定義された大規模データセットを提供することです。
  論文  参考訳（メタデータ） (2021-10-30T15:39:20Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。