論文の概要: Adapting Knowledge for Few-shot Table-to-Text Generation

• arxiv url: http://arxiv.org/abs/2302.12468v3
• Date: Wed, 27 Mar 2024 06:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 23:31:58.766869
• Title: Adapting Knowledge for Few-shot Table-to-Text Generation
• Title（参考訳）: ファウショット・テーブル・トゥ・テキスト生成のための知識の適応
• Authors: Zhixin Guo, Minyxuan Yan, Jiexing Qi, Jianping Zhou, Ziwei He, Guanjie Zheng, Xinbing Wang,
• Abstract要約: AKG(Adapt-Knowledge-to-Generate)という新しいフレームワークを提案する。 AKGはラベルのないドメイン固有の知識をモデルに適応させ、少なくとも3つの利点をもたらす。 本モデルでは,人間の評価と自動評価により,流速,精度の両面において優れた性能を示す。
• 参考スコア（独自算出の注目度）: 35.59842534346997
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pretrained language models (PLMs) have made remarkable progress in table-to-text generation tasks. However, the lack of domain-specific knowledge makes it challenging to bridge the topological gap between tabular data and text, especially in real-world applications with limited resources. To mitigate the limitation of insufficient labeled data, we propose a novel framework: Adapt-Knowledge-to-Generate (AKG). The core insight of AKG is to adapt unlabeled domain-specific knowledge into the model, which brings at least three benefits: (1) it injects representation of normal table-related descriptions to bridge the topological gap between tabular data and texts; (2) it enables us to use large amounts of unlabeled domain-specific knowledge fully, which can alleviate the PLMs' inherent shortcomings of lacking domain knowledge; (3) it allows us to design various tasks to employ the domain-specific knowledge. Extensive experiments and analyses are conducted on three open-domain, few-shot natural language generation (NLG) data sets: Humans, Songs, and Books. Compared to previous state-of-the-art approaches, our model achieves superior performance in terms of both fluency and accuracy as judged by human and automatic evaluations.
• Abstract（参考訳）: 事前訓練された言語モデル (PLM) は、テーブル・ツー・テキスト生成タスクにおいて顕著な進歩を遂げている。 しかし、ドメイン固有の知識の欠如により、特に限られたリソースを持つ現実世界のアプリケーションにおいて、表データとテキストの間のトポロジ的ギャップを埋めることが困難になる。 ラベル付きデータの制限を緩和するため,AKG (Adapt-Knowledge-to-Generate) という新しいフレームワークを提案する。 AKGのコアとなる洞察は、ラベルのないドメイン固有の知識をモデルに適応させることで、(1)表データとテキストの間のトポロジ的ギャップを埋めるために、通常のテーブル関連の記述を注入すること、(2)大量のラベルのないドメイン固有の知識を完全に使用できるようにすること、(3)ドメイン固有の知識を欠くPLM固有の欠点を緩和すること、(3)ドメイン固有の知識を活用するために様々なタスクを設計すること、の3つの利点をもたらす。 大規模な実験と分析は、3つのオープンドメイン、少数ショット自然言語生成(NLG)データセット(人間、歌、本)で行われている。 従来の最先端手法と比較して,人間の評価と自動評価の両面において,流速と精度の両面で優れた性能が得られた。

関連論文リスト

• GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [39.67113788660731]
  グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。 特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
  論文  参考訳（メタデータ） (2024-02-09T19:53:29Z)
• Learning Knowledge-Enhanced Contextual Language Representations for Domain Natural Language Understanding [46.00400830499326]
  我々は,様々なclosed dOmains(KANGAROO)のための知識強化型LANGuAge表現学習フレームワークを提案する。 実験では, 各種知識認識タスクおよび一般NLPタスクに対して, フルおよび少数ショットの学習環境において, カンガロオの評価を行った。
  論文  参考訳（メタデータ） (2023-11-12T07:37:24Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge Memorization [41.20314472839442]
  数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。 私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。 本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
  論文  参考訳（メタデータ） (2023-02-09T03:04:11Z)
• A Unified Knowledge Graph Augmentation Service for Boosting Domain-specific NLP Tasks [10.28161912127425]
  本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。 我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
  論文  参考訳（メタデータ） (2022-12-10T09:18:43Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Streaming Self-Training via Domain-Agnostic Unlabeled Images [62.57647373581592]
  視覚認識モデル学習の過程を民主化することを目的としたストリーミング自己学習(SST)を提案する。 SSTの鍵となるのは、(1)ドメインに依存しない未ラベル画像により、追加の知識や監督なしにいくつかのラベル付き例でより良いモデルを学ぶことができ、(2)学習は継続的なプロセスであり、学習更新のスケジュールを構築することで行うことができる。
  論文  参考訳（メタデータ） (2021-04-07T17:58:39Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• ENT-DESC: Entity Description Generation by Exploring Knowledge Graph [53.03778194567752]
  実際には、出力記述が最も重要な知識のみをカバーするため、入力知識は十分以上である可能性がある。 我々は、KG-to-textにおけるこのような実践的なシナリオの研究を容易にするために、大規模で挑戦的なデータセットを導入する。 本稿では,元のグラフ情報をより包括的に表現できるマルチグラフ構造を提案する。
  論文  参考訳（メタデータ） (2020-04-30T14:16:19Z)
• Domain Adaption for Knowledge Tracing [65.86619804954283]
  本稿では,DAKT問題に対処するための新しい適応型フレームワーク,すなわち知識追跡(AKT)を提案する。 まず,Deep Knowledge Trace(DKT)に基づく教育的特徴(スリップ,推測,質問文など)を取り入れ,優れた知識追跡モデルを得る。 第2の側面として、3つのドメイン適応プロセスを提案し、採用する。まず、ターゲットモデルトレーニングに有用なソースインスタンスを選択するために、自動エンコーダを事前訓練する。
  論文  参考訳（メタデータ） (2020-01-14T15:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。