論文の概要: Neural Pipeline for Zero-Shot Data-to-Text Generation

• arxiv url: http://arxiv.org/abs/2203.16279v1
• Date: Wed, 30 Mar 2022 13:14:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 21:06:04.842991
• Title: Neural Pipeline for Zero-Shot Data-to-Text Generation
• Title（参考訳）: ゼロショットデータ-テキスト生成のためのニューラルパイプライン
• Authors: Zden\v{e}k Kasner, Ond\v{r}ej Du\v{s}ek
• Abstract要約: 本稿では,汎用的なテキストベース操作に基づいて訓練された一連のモジュールを用いて,単一項目記述を変換してテキストを生成することを提案する。 WebNLGとE2Eという2つの主要な3重テキストデータセットに関する実験により、ゼロショット設定でのRDFトリプルからのD2T生成が可能になった。
• 参考スコア（独自算出の注目度）: 3.42658286826597
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In data-to-text (D2T) generation, training on in-domain data leads to overfitting to the data representation and repeating training data noise. We examine how to avoid finetuning pretrained language models (PLMs) on D2T generation datasets while still taking advantage of surface realization capabilities of PLMs. Inspired by pipeline approaches, we propose to generate text by transforming single-item descriptions with a sequence of modules trained on general-domain text-based operations: ordering, aggregation, and paragraph compression. We train PLMs for performing these operations on a synthetic corpus WikiFluent which we build from English Wikipedia. Our experiments on two major triple-to-text datasets -- WebNLG and E2E -- show that our approach enables D2T generation from RDF triples in zero-shot settings.
• Abstract（参考訳）: data-to-text (d2t) 生成では、ドメイン内データのトレーニングがデータ表現に過剰に適合し、トレーニングデータノイズを繰り返す。 PLMの表面実現能力を活用しつつ、D2T生成データセット上でのPLMの微調整を回避する方法について検討する。 パイプラインのアプローチに着想を得て,汎用的なテキストベース操作で訓練された一連のモジュール(順序付け,アグリゲーション,段落圧縮)で単一項目記述を変換してテキストを生成する手法を提案する。 英語wikipediaから構築した合成コーパスwikifluent上でこれらの操作を行うplmをトレーニングする。 WebNLGとE2Eという2つの主要な3重テキストデータセットに関する実験により、ゼロショット設定でのRDFトリプルからのD2T生成が可能になった。

関連論文リスト

• Faithful Low-Resource Data-to-Text Generation through Cycle Training [14.375070014155817]
  近年,構造化データからテキストを生成する手法が大幅に進歩している。 サイクルトレーニングでは、互いに逆転する2つのモデルを使用する。 サイクルトレーニングが完全に教師付きアプローチとほぼ同等のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:44:42Z)
• ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models [82.63962107729994]
  Any-Shot Data-to-Text (ASDOT)は、多様な設定に柔軟に適用可能な新しいアプローチである。 データ曖昧化と文の融合という2つのステップから構成される。 実験の結果, ASDOT はベースラインよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2022-10-09T19:17:43Z)
• What Makes Data-to-Text Generation Hard for Pretrained Language Models? [17.07349898176898]
  構造化された事実や関係(D2T)の自然言語記述を表現することで、構造化された知識リポジトリのアクセシビリティが向上する。 従来の研究は、タスク固有のトレーニングデータを大幅に微調整した後、事前学習された言語モデル(PLM)が、このタスクに対して驚くほどうまく機能していることを示している。 DARTマルチドメインD2Tデータセット上で、微調整と自動回帰PLMの両方について実証的研究を行う。
  論文  参考訳（メタデータ） (2022-05-23T17:58:39Z)
• DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization [14.414693156937782]
  テキスト生成のための新しいドメイン固有生成事前学習法(DS-GPT)を提案する。 電子商取引モバイルディスプレイにおける製品タイトルと要約問題に応用する。
  論文  参考訳（メタデータ） (2021-12-15T19:02:49Z)
• Neural Data-to-Text Generation with LM-based Text Augmentation [27.822282190362856]
  弱教師付きトレーニングパラダイムは10%未満のアノテーションで完全に教師付きセq2seqモデルより優れていることを示す。 すべての注釈付きデータを利用することで、標準のSeq2seqモデルの性能を5 BLEUポイント以上向上させることができる。
  論文  参考訳（メタデータ） (2021-02-06T10:21:48Z)
• Data-to-Text Generation with Iterative Text Editing [3.42658286826597]
  本稿では,反復的テキスト編集に基づく新しいデータ・テキスト生成手法を提案する。 まず、自明なテンプレートを用いてデータ項目をテキストに変換し、その後、文融合タスクのために訓練されたニューラルモデルにより結果のテキストを反復的に改善する。 モデルの出力は単純で、既製の事前訓練言語モデルで再帰的にフィルタリングされる。
  論文  参考訳（メタデータ） (2020-11-03T13:32:38Z)
• Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition [66.47000813920617]
  本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。 モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。 モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
  論文  参考訳（メタデータ） (2020-10-28T07:46:15Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。