論文の概要: TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge

• arxiv url: http://arxiv.org/abs/2203.08517v1
• Date: Wed, 16 Mar 2022 10:37:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 13:48:53.908466
• Title: TegTok: Augmenting Text Generation via Task-specific and Open-world Knowledge
• Title（参考訳）: TegTok: タスク固有およびオープンワールド知識によるテキスト生成の強化
• Authors: Chao-Hong Tan, Jia-Chen Gu, Chongyang Tao, Zhen-Hua Ling, Can Xu, Huang Hu, Xiubo Geng, Daxin Jiang
• Abstract要約: 本稿では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ入力エンコーディングと出力デコーディングの段階に注入する。
• 参考スコア（独自算出の注目度）: 83.55215993730326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating natural and informative texts has been a long-standing problem in NLP. Much effort has been dedicated into incorporating pre-trained language models (PLMs) with various open-world knowledge, such as knowledge graphs or wiki pages. However, their ability to access and manipulate the task-specific knowledge is still limited on downstream tasks, as this type of knowledge is usually not well covered in PLMs and is hard to acquire. To address the problem, we propose augmenting TExt Generation via Task-specific and Open-world Knowledge (TegTok) in a unified framework. Our model selects knowledge entries from two types of knowledge sources through dense retrieval and then injects them into the input encoding and output decoding stages respectively on the basis of PLMs. With the help of these two types of knowledge, our model can learn what and how to generate. Experiments on two text generation tasks of dialogue generation and question generation, and on two datasets show that our method achieves better performance than various baseline models.
• Abstract（参考訳）: 自然および情報的テキストの生成は、NLPの長年の問題であった。 知識グラフやwikiページなど、さまざまなオープンワールド知識を備えた事前学習言語モデル(plm)の導入に多くの努力が払われている。 しかしながら、このような知識は通常plmでカバーされておらず、取得が難しいため、タスク固有の知識にアクセスして操作する能力は下流タスクに制限されている。 そこで本研究では,タスク固有およびオープンワールド知識(TegTok)によるTExt生成の統一化を提案する。 本モデルでは,2種類の知識ソースからの知識エントリを高密度検索により選択し,それぞれ PLM に基づいて入力エンコーディングと出力デコーディングの段階に注入する。 これら2つのタイプの知識の助けを借りて、モデルは何とどのように生成するかを学べます。 対話生成と質問生成の2つのテキスト生成タスクと2つのデータセットを用いた実験により,様々なベースラインモデルよりも優れた性能が得られることを示す。

関連論文リスト

• How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study [27.23388511249688]
  本稿では,知識を符号化する大規模言語モデルのレイヤーワイド能力について検討する。 探索データセットの構築にはChatGPTの強力な生成能力を活用する。 矛盾する知識と新たに獲得した知識の実験は、LLMが上位層でより多くのコンテキスト知識をエンコードすることを好んでいることを示している。
  論文  参考訳（メタデータ） (2024-02-25T11:15:42Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Few-Shot Table-to-Text Generation with Prompt Planning and Knowledge Memorization [41.20314472839442]
  数ショット設定でテーブル・ツー・テキスト生成をターゲットとするPromptMizeという新しいフレームワークを提案する。 私たちのフレームワークの設計は、プロンプトプランナーと知識アダプタの2つの側面で構成されています。 本モデルは,人的・自動的な評価によって判断される品質を著しく向上させる。
  論文  参考訳（メタデータ） (2023-02-09T03:04:11Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Knowledge Prompting in Pre-trained Language Model for Natural Language Understanding [24.315130086787374]
  知識プロンプトに基づく PLM フレームワーク KP-PLM を提案する。 このフレームワークは、既存の主流PLMと柔軟に組み合わせることができる。 これらのプロンプトから事実知識を更に活用するために,我々は2つの新しい知識認識型自己監督タスクを提案する。
  論文  参考訳（メタデータ） (2022-10-16T13:36:57Z)
• Informative Text Generation from Knowledge Triples [56.939571343797304]
  本稿では,トレーニング中に学習した有用な知識を記憶するために,メモリネットワークを利用した新しいメモリ拡張ジェネレータを提案する。 我々は、新しい設定のためのWebNLGからデータセットを導き、我々のモデルの有効性を調べるための広範な実験を行う。
  論文  参考訳（メタデータ） (2022-09-26T14:35:57Z)
• Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation [78.85622982191522]
  既存のシステムは、トレーニングデータでカバーされる限られたトピックのために、目に見えないトピックでうまく機能しない。 本稿では,異なる知識源を均質化した言語モデルであるPLUGについて述べる。 完全に教師された設定の下で最先端のメソッドと同等のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-12-15T07:11:02Z)
• A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
  テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。 入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。 この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
  論文  参考訳（メタデータ） (2020-10-09T06:46:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。