Fugu-MT 論文翻訳(概要): Knowledge-Grounded Dialogue Generation with Pre-trained Language Models

論文の概要: Knowledge-Grounded Dialogue Generation with Pre-trained Language Models

arxiv url: http://arxiv.org/abs/2010.08824v1
Date: Sat, 17 Oct 2020 16:49:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-06 11:46:29.553226
Title: Knowledge-Grounded Dialogue Generation with Pre-trained Language Models
Title（参考訳）: 事前学習言語モデルを用いた知識包含対話生成
Authors: Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao, Dongyan Zhao, Rui Yan
Abstract要約: 我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
参考スコア（独自算出の注目度）: 74.09352261943911
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study knowledge-grounded dialogue generation with pre-trained language models. To leverage the redundant external knowledge under capacity constraint, we propose equipping response generation defined by a pre-trained language model with a knowledge selection module, and an unsupervised approach to jointly optimizing knowledge selection and response generation with unlabeled dialogues. Empirical results on two benchmarks indicate that our model can significantly outperform state-of-the-art methods in both automatic evaluation and human judgment.
Abstract（参考訳）: 事前学習言語モデルを用いた知識基底対話生成について検討する。キャパシティ制約下での冗長な外部知識を活用するために,知識選択モジュールを用いた事前学習言語モデルで定義された応答生成と,ラベルなし対話による知識選択と応答生成を協調的に最適化する教師なしアプローチを提案する。 2つのベンチマークによる実験結果から,本モデルは自動評価と人的判断の両方において最先端の手法を著しく上回ることができることが示唆された。

関連論文リスト

Pseudointelligence: A Unifying Framework for Language Model Evaluation [14.95543156914676]
本稿では,モデルと学習評価器の動的相互作用として,モデル評価キャストの複雑性理論フレームワークを提案する。このフレームワークは,言語モデル評価における2つのケーススタディを推論し,既存の評価手法を解析するために利用できることを示す。
論文参考訳（メタデータ） (2023-10-18T17:48:05Z)
Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文参考訳（メタデータ） (2023-05-06T23:11:25Z)
Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues? [20.598241369838668]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。知識を含む対話を微調整することで、事前学習された言語モデルは最先端のモデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2020-11-19T08:22:49Z)
Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文参考訳（メタデータ） (2020-10-26T21:34:39Z)
StyleDGPT: Stylized Response Generation with Pre-trained Language Models [39.526613595499356]
KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
論文参考訳（メタデータ） (2020-10-06T09:29:50Z)
Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
論文参考訳（メタデータ） (2020-09-19T02:41:04Z)
Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-08-29T05:48:32Z)
Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文参考訳（メタデータ） (2020-02-24T16:20:32Z)
Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
論文参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。