論文の概要: Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
- arxiv url: http://arxiv.org/abs/2208.10709v1
- Date: Tue, 23 Aug 2022 03:23:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 13:02:07.472687
- Title: Few-Shot Table-to-Text Generation with Prefix-Controlled Generator
- Title（参考訳）: プレフィックス制御型生成器を用いたマイナショットテーブル・ツー・テキスト生成
- Authors: Yutao Luo, Menghua Lu, Gongshen Liu, Shilin Wang
- Abstract要約: 本稿では,PCG(Prefix-Controlled Generator)というプロンプトベースの手法を提案する。
PLMのタスク固有のプレフィックスをプリペイドし、テーブル構造を事前訓練された入力に適合させる。
さらに、入力固有の接頭辞を生成し、生成したテキストの事実内容と語順を制御する。
- 参考スコア（独自算出の注目度）: 11.891732582638227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural table-to-text generation approaches are data-hungry, limiting their
adaptation for low-resource real-world applications. Previous works mostly
resort to Pre-trained Language Models (PLMs) to generate fluent summaries of a
table. However, they often contain hallucinated contents due to the
uncontrolled nature of PLMs. Moreover, the topological differences between
tables and sequences are rarely studied. Last but not least, fine-tuning on
PLMs with a handful of instances may lead to over-fitting and catastrophic
forgetting. To alleviate these problems, we propose a prompt-based approach,
Prefix-Controlled Generator (i.e., PCG), for few-shot table-to-text generation.
We prepend a task-specific prefix for a PLM to make the table structure better
fit the pre-trained input. In addition, we generate an input-specific prefix to
control the factual contents and word order of the generated text. Both
automatic and human evaluations on different domains (humans, books and songs)
of the Wikibio dataset show substantial improvements over baseline approaches.
- Abstract（参考訳）: ニューラルテーブルからテキストへの生成アプローチはデータ格納型であり、低リソースの現実世界アプリケーションへの適応を制限する。
事前学習言語モデル(PLM)を使用して、テーブルの流動的な要約を生成する。
しかし、PLMの制御されていない性質のため、しばしば幻覚物質を含む。
また,表と列の位相的差異は稀である。
最後に重要なことは、少数のインスタンスを持つPLMの微調整は、過度に適合し、破滅的な忘れを招きます。
これらの問題を緩和するため,本論文では,提案手法であるプレフィックス制御生成器(pcg)を提案する。
PLMのタスク固有のプレフィックスをプリペイドし、テーブル構造を事前訓練された入力に適合させる。
また、入力固有のプレフィックスを生成し、生成されたテキストの事実内容と単語順を制御する。
Wikibioデータセットの異なるドメイン(人間、本、歌)の自動評価と人的評価は、ベースラインアプローチよりも大幅に改善されている。
関連論文リスト
- Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。
我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
論文 参考訳（メタデータ） (2024-11-05T07:12:36Z) - Bridge the Gap between Language models and Tabular Understanding [99.88470271644894]
自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。
有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。
UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
論文 参考訳（メタデータ） (2023-02-16T15:16:55Z) - Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge
Memorization [41.20314472839442]
数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。
私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。
本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
論文 参考訳（メタデータ） (2023-02-09T03:04:11Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳（メタデータ） (2020-09-29T08:17:58Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z) - ToTTo: A Controlled Table-To-Text Generation Dataset [61.83159452483026]
ToTToはオープンドメインの英語のテーブル・トゥ・テキストのデータセットで、12万以上のトレーニングサンプルがある。
本稿では、ウィキペディアから既存の候補文を直接修正するデータセット構築プロセスを紹介する。
通常流動的であるが、既存の方法は多くの場合、表がサポートしていないフレーズを幻覚させる。
論文 参考訳（メタデータ） (2020-04-29T17:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。