論文の概要: KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation

• arxiv url: http://arxiv.org/abs/2010.02307v2
• Date: Sun, 11 Oct 2020 18:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:11:42.038022
• Title: KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation
• Title（参考訳）: kgpt: テキスト間データ生成のための知識接地事前学習
• Authors: Wenhu Chen, Yu Su, Xifeng Yan, William Yang Wang
• Abstract要約: 知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
• 参考スコア（独自算出の注目度）: 100.79870384880333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-to-text generation has recently attracted substantial interests due to its wide applications. Existing methods have shown impressive performance on an array of tasks. However, they rely on a significant amount of labeled data for each task, which is costly to acquire and thus limits their application to new tasks and domains. In this paper, we propose to leverage pre-training and transfer learning to address this issue. We propose a knowledge-grounded pre-training (KGPT), which consists of two parts, 1) a general knowledge-grounded generation model to generate knowledge-enriched text. 2) a pre-training paradigm on a massive knowledge-grounded text corpus crawled from the web. The pre-trained model can be fine-tuned on various data-to-text generation tasks to generate task-specific text. We adopt three settings, namely fully-supervised, zero-shot, few-shot to evaluate its effectiveness. Under the fully-supervised setting, our model can achieve remarkable gains over the known baselines. Under zero-shot setting, our model without seeing any examples achieves over 30 ROUGE-L on WebNLG while all other baselines fail. Under the few-shot setting, our model only needs about one-fifteenth as many labeled examples to achieve the same level of performance as baseline models. These experiments consistently prove the strong generalization ability of our proposed framework https://github.com/wenhuchen/KGPT.
• Abstract（参考訳）: データからテキストへの生成は最近、幅広いアプリケーションのためにかなりの関心を集めている。 既存の手法は、タスクの配列で素晴らしいパフォーマンスを示している。 しかし、各タスクにかなりの量のラベル付きデータに依存しているため、取得にコストがかかり、新たなタスクやドメインへのアプリケーションの適用が制限される。 本稿では,本課題に対処するために,事前学習と転校学習の活用を提案する。 本稿では,2つのパートからなる知識基礎事前学習(KGPT)を提案する。 1)知識豊富なテキストを生成する一般的な知識基盤生成モデル。 2) web からクロールした膨大な知識に基づくテキストコーパスの事前学習パラダイム。 事前訓練されたモデルは、様々なデータ・テキスト生成タスクで微調整してタスク固有のテキストを生成することができる。 我々は,その効果を評価するために,全監督,ゼロショット,少数ショットという3つの設定を採用する。 完全な教師付き設定の下では、我々のモデルは既知のベースラインよりも顕著な成果を得られる。 ゼロショット設定では、実例のないモデルでは、WebNLG上で30 ROUGE-Lを達成できます。 少数の設定では、ベースラインモデルと同等の性能を達成するためにラベル付きサンプルの約5分の1しか必要としない。 これらの実験は、提案したフレームワーク https://github.com/wenhuchen/KGPT の強力な一般化能力を一貫して証明している。

関連論文リスト

• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs [4.56877715768796]
  我々は,ChatGPTがWebNLG 2020の課題に対して,最先端のパフォーマンスを達成していることを示す。 また、LLMが解析しているデータについて既に知っていることと、出力テキストの品質との間には大きな関連性があることも示している。
  論文  参考訳（メタデータ） (2023-07-14T12:45:03Z)
• ReGen: Zero-Shot Text Classification via Training Data Generation with Progressive Dense Retrieval [22.882301169283323]
  一般ドメインの未ラベルコーパスからトレーニングデータを作成するための検索強化フレームワークを提案する。 9つのデータセットの実験では、REGENは最強のベースラインに対して4.3%のゲインを達成し、大きなNLGモデルを使用したベースラインと比較して約70%の時間を節約している。
  論文  参考訳（メタデータ） (2023-05-18T04:30:09Z)
• Knowledge Graph Generation From Text [18.989264255589806]
  そこで本研究では,テキスト入力から新たなエンド・ツー・エンドの知識グラフ(KG)生成システムを提案する。 グラフノードは、まず事前訓練された言語モデルを用いて生成され、次に単純なエッジ構築ヘッドが続く。 我々は,最新のWebNLG 2020 Challengeデータセットを用いて,テキストからRDF生成タスクにおける最先端のパフォーマンスとを一致させたモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-11-18T21:27:13Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。