論文の概要: Few-Shot Table-to-Text Generation with Prompt-based Adapter
- arxiv url: http://arxiv.org/abs/2302.12468v1
- Date: Fri, 24 Feb 2023 05:48:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 14:22:38.179582
- Title: Few-Shot Table-to-Text Generation with Prompt-based Adapter
- Title（参考訳）: プロンプトベースアダプタによるテーブル・ツー・テキスト生成
- Authors: Zhixin Guo, Minyxuan Yan, Jiexing Qi, Jianping Zhou, Ziwei He, Zhouhan
Lin, Guanjie Zheng, and Xinbing Wang
- Abstract要約: 本稿では,数ショット条件下でのテーブル・ツー・テキスト生成をターゲットとした新しい拡張手法であるPrompt-based Adapter(PA)を提案する。
PAの中核となる洞察設計は、ドメイン固有の知識とテーブル関連の表現をモデルに追加するためのプロンプトテンプレートを注入することである。
本モデルでは,人間の評価と自動評価により,流速,精度の両面において優れた性能を示す。
- 参考スコア（独自算出の注目度）: 24.440701406542928
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pre-trained language models (PLMs) have made remarkable progress in
table-to-text generation tasks. However, the topological gap between tabular
data and text and the lack of domain-specific knowledge make it difficult for
PLMs to produce faithful text, especially in real-world applications with
limited resources. In this paper, we mitigate the above challenges by
introducing a novel augmentation method: Prompt-based Adapter (PA), which
targets table-to-text generation under few-shot conditions. The core insight
design of the PA is to inject prompt templates for augmenting domain-specific
knowledge and table-related representations into the model for bridging the
structural gap between tabular data and descriptions through adapters. Such
prompt-based knowledge augmentation method brings at least two benefits: (1)
enables us to fully use the large amounts of unlabelled domain-specific
knowledge, which can alleviate the PLMs' inherent shortcomings of lacking
domain knowledge; (2) allows us to design different types of tasks supporting
the generative challenge. Extensive experiments and analyses are conducted on
three open-domain few-shot NLG datasets: Humans, Books, and Songs. Compared to
previous state-of-the-art approaches, our model achieves superior performance
in terms of both fluency and accuracy as judged by human and automatic
evaluations.
- Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、表-テキスト生成タスクにおいて顕著な進歩を遂げた。
しかし、表データとテキストの間のトポロジー的なギャップとドメイン固有の知識の欠如は、plmが忠実なテキストを生成するのを困難にしている。
本稿では,数ショット条件下でのテーブル・ツー・テキスト生成をターゲットとした新しい拡張手法であるPrompt-based Adapter (PA)を導入することで,上記の課題を軽減する。
PAの中核となる洞察設計は、テーブルデータとアダプタによる記述の間の構造的ギャップを埋めるモデルに、ドメイン固有の知識とテーブル関連の表現を増強するためのプロンプトテンプレートを注入することである。
このようなプロンプトベースの知識拡張手法には,少なくとも2つのメリットがある。(1)plm固有のドメイン知識の欠如という欠点を緩和する,ラベルなしのドメイン固有知識の大量使用を可能にすること,(2)生成的課題をサポートするさまざまなタスクを設計可能にすること,の2つがある。
人間、本、歌という3つのオープンドメインのnlgデータセットで広範な実験と分析が行われている。
従来の最先端手法と比較して,人間の評価や自動評価から判断した流速,精度の両面で優れた性能が得られる。
関連論文リスト
- GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [39.67113788660731]
グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。
特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
論文 参考訳（メタデータ） (2024-02-09T19:53:29Z) - Learning Knowledge-Enhanced Contextual Language Representations for
Domain Natural Language Understanding [46.00400830499326]
我々は,様々なclosed dOmains(KANGAROO)のための知識強化型LANGuAge表現学習フレームワークを提案する。
実験では, 各種知識認識タスクおよび一般NLPタスクに対して, フルおよび少数ショットの学習環境において, カンガロオの評価を行った。
論文 参考訳（メタデータ） (2023-11-12T07:37:24Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳（メタデータ） (2023-10-31T04:37:57Z) - Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge
Memorization [41.20314472839442]
数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。
私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。
本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
論文 参考訳（メタデータ） (2023-02-09T03:04:11Z) - A Unified Knowledge Graph Augmentation Service for Boosting
Domain-specific NLP Tasks [10.28161912127425]
本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。
我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
論文 参考訳（メタデータ） (2022-12-10T09:18:43Z) - Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation
in Few Shots [58.404516361586325]
Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。
本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
論文 参考訳（メタデータ） (2022-03-01T20:37:20Z) - Streaming Self-Training via Domain-Agnostic Unlabeled Images [62.57647373581592]
視覚認識モデル学習の過程を民主化することを目的としたストリーミング自己学習(SST)を提案する。
SSTの鍵となるのは、(1)ドメインに依存しない未ラベル画像により、追加の知識や監督なしにいくつかのラベル付き例でより良いモデルを学ぶことができ、(2)学習は継続的なプロセスであり、学習更新のスケジュールを構築することで行うことができる。
論文 参考訳（メタデータ） (2021-04-07T17:58:39Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z) - ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。
我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。
本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
論文 参考訳（メタデータ） (2020-04-30T14:16:19Z) - Domain Adaption for Knowledge Tracing [65.86619804954283]
本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。
まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。
第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
論文 参考訳（メタデータ） (2020-01-14T15:04:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。