論文の概要: ConceptNet infused DialoGPT for Underlying Commonsense Understanding and
Reasoning in Dialogue Response Generation
- arxiv url: http://arxiv.org/abs/2209.15109v1
- Date: Thu, 29 Sep 2022 21:42:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 15:25:44.196577
- Title: ConceptNet infused DialoGPT for Underlying Commonsense Understanding and
Reasoning in Dialogue Response Generation
- Title（参考訳）: 対話応答生成におけるコモンセンス理解と推論のためのconceptnet infused dialogpt
- Authors: Ye Liu, Wolfgang Maier, Wolfgang Minker, Stefan Ultes
- Abstract要約: 基礎コモンセンスを確立するために,事前学習された会話モデルに外部知識を導入する。
本稿では,CS知識と文対の双方向関係を実現するための双方向学習手法を提案する。
最後に、この統合CS機能を活用し、オープンドメイン対話応答生成を改善する。
- 参考スコア（独自算出の注目度）: 4.714297769572548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pre-trained conversational models still fail to capture the implicit
commonsense (CS) knowledge hidden in the dialogue interaction, even though they
were pre-trained with an enormous dataset. In order to build a dialogue agent
with CS capability, we firstly inject external knowledge into a pre-trained
conversational model to establish basic commonsense through efficient Adapter
tuning (Section 4). Secondly, we propose the ``two-way learning'' method to
enable the bidirectional relationship between CS knowledge and sentence pairs
so that the model can generate a sentence given the CS triplets, also generate
the underlying CS knowledge given a sentence (Section 5). Finally, we leverage
this integrated CS capability to improve open-domain dialogue response
generation so that the dialogue agent is capable of understanding the CS
knowledge hidden in dialogue history on top of inferring related other
knowledge to further guide response generation (Section 6). The experiment
results demonstrate that CS\_Adapter fusion helps DialoGPT to be able to
generate series of CS knowledge. And the DialoGPT+CS\_Adapter response model
adapted from CommonGen training can generate underlying CS triplets that fits
better to dialogue context.
- Abstract（参考訳）: 事前学習された会話モデルは、巨大なデータセットで事前トレーニングされたにもかかわらず、対話インタラクションに隠された暗黙のコモンセンス(cs)の知識を捉えられなかった。
CS機能を有する対話エージェントを構築するために,まず,事前学習された会話モデルに外部知識を注入し,効率的なアダプタチューニングによる基本的なコモンセンスを確立する(第4部)。
第2に,CSの知識と文ペアの双方向関係を可能とし,CSのトリプレットを与えられた文を生成し,文を与えられたCSの知識を生成する「双方向学習」手法を提案する(第5部)。
最後に,この統合されたCS機能を活用して,対話エージェントが対話履歴に隠されたCS知識を理解できるようにし,関連する他の知識を推測して応答生成をさらに誘導する(第6部)。
実験の結果、CS\_Adapter融合は、DialoGPTが一連のCS知識を生成するのに役立つことが示された。
また、CommonGenトレーニングから適応したDialoGPT+CS\_Adapterレスポンスモデルでは、対話コンテキストに適合する基盤となるCSトリプレットを生成することができる。
関連論文リスト
- Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳（メタデータ） (2023-06-01T21:23:13Z) - A Cognitive Stimulation Dialogue System with Multi-source Knowledge
Fusion for Elders with Cognitive Impairment [15.921295369286161]
データスパシティは、特に中国語でCSベースの対話システムを構築する上で大きな課題である。
感情的なサポートを提供しながらチャットをするというのは、既存の認知対話システムの大半で見過ごされている。
本稿では,CS の原理と感情支援戦略に導かれるオープンな応答を生成するために,CS 対話 (CSD) のためのマルチソース知識融合手法を提案する。
論文 参考訳（メタデータ） (2023-05-14T16:52:20Z) - PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue
Model [79.64376762489164]
PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。
PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。
PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
論文 参考訳（メタデータ） (2023-04-02T18:23:13Z) - CTRLStruct: Dialogue Structure Learning for Open-Domain Response
Generation [38.60073402817218]
十分に構造化されたトピックフローは、バックグラウンド情報を活用し、将来のトピックを予測することで、制御可能で説明可能な応答を生成する。
本稿では,話題レベルの対話クラスタを効果的に探索する対話構造学習のための新しいフレームワークを提案する。
2つの人気のあるオープンドメイン対話データセットの実験は、優れた対話モデルと比較して、我々のモデルはより一貫性のある応答を生成できることを示している。
論文 参考訳（メタデータ） (2023-03-02T09:27:11Z) - KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。
具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。
我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-12-04T04:05:01Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - Reason first, then respond: Modular Generation for Knowledge-infused
Dialogue [43.64093692715295]
大規模な言語モデルは、流動的な対話を生成できるが、しばしば事実の不正確さを幻覚させる。
本稿では,会話エージェントに知識を組み込むモジュールモデルであるKnowledge to Responseを提案する。
詳細な実験では、そのようなモデルが知識に基づく対話作業において幻覚を弱めることが判明した。
論文 参考訳（メタデータ） (2021-11-09T15:29:43Z) - Language Model as an Annotator: Exploring DialoGPT for Dialogue
Summarization [29.887562761942114]
本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。
ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
論文 参考訳（メタデータ） (2021-05-26T13:50:13Z) - Discovering Dialog Structure Graph for Open-Domain Dialog Generation [51.29286279366361]
chitchat corporaの対話構造を無監督で発見します。
次に、下流システムでのダイアログ生成を容易にするために利用します。
本稿では,グラフニューラルネットワーク(DVAE-GNN)を用いた離散変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2020-12-31T10:58:37Z) - Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
InjKは対話生成モデルに知識を注入するための2段階のアプローチである。
まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。
次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
論文 参考訳（メタデータ） (2020-04-30T07:31:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。