論文の概要: Knowledge Injection into Dialogue Generation via Language Models

• arxiv url: http://arxiv.org/abs/2004.14614v2
• Date: Mon, 5 Apr 2021 22:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 04:05:11.775734
• Title: Knowledge Injection into Dialogue Generation via Language Models
• Title（参考訳）: 言語モデルによる対話生成への知識注入
• Authors: Yi-Lin Tuan, Wei Wei, William Yang Wang
• Abstract要約: InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
• 参考スコア（独自算出の注目度）: 85.65843021510521
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialogue generation has been successfully learned from scratch by neural networks, but tends to produce the same general response, e.g., "what are you talking about?", in many conversations. To reduce this homogeneity, external knowledge such as the speaker's profile and domain knowledge is applied as an additional condition to diversify a model's output. The required knowledge to develop an effective conversation, however, is not always available, which is different from prior work's assumption that a model always has acquired sufficient knowledge before chatting. This problem can be detrimental when applying a dialogue model like this chatting online with unconstrained people and topics, because the model does not have the needed knowledge. To address this problem, we propose InjK, which is a two-stage approach to inject knowledge into a dialogue generation model. First, we train a large-scale language model and query it as textual knowledge. Second, we frame a dialogue generation model to sequentially generate textual knowledge and a corresponding response. Empirically, when a dialogue generation model can only access limited knowledge, our method outperforms prior work by producing more coherent and informative responses.
• Abstract（参考訳）: 対話生成はニューラルネットワークによってゼロから学ばれてきたが、多くの会話において「何を話しているのか?」など、同じ一般応答を生成する傾向がある。 この均一性を低減するため、話者のプロファイルやドメイン知識などの外部知識を付加条件として適用し、モデルの出力を多様化する。 しかし、効果的な会話を開発するために必要な知識は必ずしも得られない。これは、モデルは常にチャットの前に十分な知識を得たという以前の作業の仮定とは異なる。 このような対話モデルを、制約のない人々やトピックとオンラインでチャットする場合、モデルは必要な知識を持っていないため、この問題は有害である。 そこで本研究では,対話生成モデルに知識を注入する2段階アプローチであるInjKを提案する。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 第2に、対話生成モデルを用いて、テキスト知識と対応する応答を順次生成する。 実験的に、対話生成モデルが限られた知識にしかアクセスできない場合、本手法はより一貫性のある情報応答を生成することにより、先行作業より優れる。

関連論文リスト

• ChatPLUG: Open-Domain Generative Dialogue System with Internet-Augmented Instruction Tuning for Digital Human [76.62897301298699]
  ChatPLUGは、デジタルヒューマンアプリケーションのための中国のオープンドメイン対話システムである。 モデルネームは, 自動評価と人的評価の両方において, 最先端の中国語対話システムより優れていることを示す。 高速な推論でスマートスピーカーやインスタントメッセージアプリケーションのような実世界のアプリケーションにモデルネームをデプロイします。
  論文  参考訳（メタデータ） (2023-04-16T18:16:35Z)
• PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue Model [79.64376762489164]
  PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。 PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。 PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
  論文  参考訳（メタデータ） (2023-04-02T18:23:13Z)
• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• Reason first, then respond: Modular Generation for Knowledge-infused Dialogue [43.64093692715295]
  大規模な言語モデルは、流動的な対話を生成できるが、しばしば事実の不正確さを幻覚させる。 本稿では,会話エージェントに知識を組み込むモジュールモデルであるKnowledge to Responseを提案する。 詳細な実験では、そのようなモデルが知識に基づく対話作業において幻覚を弱めることが判明した。
  論文  参考訳（メタデータ） (2021-11-09T15:29:43Z)
• Response Generation with Context-Aware Prompt Learning [19.340498579331555]
  本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。 限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。 提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-04T05:40:13Z)
• Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues? [20.598241369838668]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 知識を含む対話を微調整することで、事前学習された言語モデルは最先端のモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T08:22:49Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。