論文の概要: Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2106.01623v1
• Date: Thu, 3 Jun 2021 06:48:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:17:41.157949
• Title: Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models
• Title（参考訳）: 事前学習型言語モデルを用いた知識グラフ・テキスト生成
• Authors: Junyi Li, Tianyi Tang, Wayne Xin Zhao, Zhicheng Wei, Nicholas Jing Yuan and Ji-Rong Wen
• Abstract要約: 本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
• 参考スコア（独自算出の注目度）: 42.38563175680914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies how to automatically generate a natural language text that describes the facts in knowledge graph (KG). Considering the few-shot setting, we leverage the excellent capacities of pretrained language models (PLMs) in language understanding and generation. We make three major technical contributions, namely representation alignment for bridging the semantic gap between KG encodings and PLMs, relation-biased KG linearization for deriving better input representations, and multi-task learning for learning the correspondence between KG and text. Extensive experiments on three benchmark datasets have demonstrated the effectiveness of our model on KG-to-text generation task. In particular, our model outperforms all comparison methods on both fully-supervised and few-shot settings. Our code and datasets are available at https://github.com/RUCAIBox/Few-Shot-KG2Text.
• Abstract（参考訳）: 本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数発の設定を考えると、言語理解と生成において事前学習言語モデル(PLM)の優れた能力を利用する。 KGエンコーディングとPLM間の意味的ギャップを埋めるための表現アライメント、より良い入力表現を導出するための関係バイアス付きKG線形化、KGとテキストの対応性を学ぶためのマルチタスク学習である。 KG-to-text生成タスクにおいて,3つのベンチマークデータセットの大規模な実験を行った。 特に,本モデルは,全監督設定と少数撮影設定の両方において,すべての比較手法を上回っている。 コードとデータセットはhttps://github.com/RUCAIBox/Few-Shot-KG2Text.comから入手可能です。

関連論文リスト

• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs [4.56877715768796]
  我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。 また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
  論文  参考訳（メタデータ） (2023-07-14T12:45:03Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• From Discrimination to Generation: Knowledge Graph Completion with Generative Transformer [41.69537736842654]
  我々は、知識グラフ補完を事前学習された言語モデルを用いて、シーケンスからシーケンスへ変換するGenKGCのアプローチを提案する。 本稿では,より優れた表現学習と高速推論を実現するために,関係誘導型実演と実体認識型階層デコーディングを導入する。 また、研究目的のために、新しい大規模中国の知識グラフデータセットAliopenKG500もリリースした。
  論文  参考訳（メタデータ） (2022-02-04T12:52:32Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Language Models are Open Knowledge Graphs [75.48081086368606]
  近年の深層言語モデルは,事前学習を通じて大規模コーパスから知識を自動取得する。 本稿では,言語モデルに含まれる知識をKGにキャストするための教師なし手法を提案する。 KGは、コーパス上の(微調整なしで)事前訓練された言語モデルの1つの前方パスで構築されていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T18:01:56Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。