論文の概要: Enhancing Dialogue Generation via Multi-Level Contrastive Learning
- arxiv url: http://arxiv.org/abs/2009.09147v2
- Date: Tue, 22 Jun 2021 13:22:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 21:09:21.827841
- Title: Enhancing Dialogue Generation via Multi-Level Contrastive Learning
- Title(参考訳): マルチレベルコントラスト学習による対話生成の促進
- Authors: Xin Li, Piji Li, Yan Wang, Xiaojiang Liu and Wai Lam
- Abstract要約: 質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
- 参考スコア(独自算出の注目度): 57.005432249952406
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most of the existing works for dialogue generation are data-driven models
trained directly on corpora crawled from websites. They mainly focus on
improving the model architecture to produce better responses but pay little
attention to considering the quality of the training data contrastively. In
this paper, we propose a multi-level contrastive learning paradigm to model the
fine-grained quality of the responses with respect to the query. A Rank-aware
Calibration (RC) network is designed to construct the multi-level contrastive
optimization objectives. Since these objectives are calculated based on the
sentence level, which may erroneously encourage/suppress the generation of
uninformative/informative words. To tackle this incidental issue, on one hand,
we design an exquisite token-level strategy for estimating the instance loss
more accurately. On the other hand, we build a Knowledge Inference (KI)
component to capture the keyword knowledge from the reference during training
and exploit such information to encourage the generation of informative words.
We evaluate the proposed model on a carefully annotated dialogue dataset and
the results suggest that our model can generate more relevant and diverse
responses compared to the baseline models.
- Abstract(参考訳): 対話生成のための既存の作業の多くは、Webサイトからクロールされたコーパスで直接トレーニングされたデータ駆動モデルである。
彼らは主に、より良いレスポンスを生み出すためにモデルアーキテクチャの改善に注力するが、対照的にトレーニングデータの品質を考慮することにはほとんど注意を払わない。
本稿では,クエリに対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。
Rank-Aware Calibration (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。
これらの目的は文レベルに基づいて計算されるため、非形容詞/形容詞語の生成を誤って促進/抑制することができる。
付随的な問題に対処するために,我々は,インスタンス損失をより正確に推定するための,必要なトークンレベルの戦略をデザインする。
一方,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
提案モデルについて,注意深い注釈付き対話データセット上で評価し,本モデルがベースラインモデルよりも適切で多様な応答を生成できることを示す。
関連論文リスト
- Topic Modeling as Multi-Objective Contrastive Optimization [46.24876966674759]
近年の表現学習アプローチは、ログライクリフのエビデンスローバウンド(ELBO)の重み付けされた線形結合と、入力文書のペアを対比する対照的な学習目標を最適化することにより、ニューラルトピックモデルを強化する。
本稿では,一組の入力文書間で共有される有用なセマンティクスを捉えるために,話題ベクトルの集合を指向した新しいコントラスト学習手法を提案する。
我々のフレームワークは、トピックコヒーレンス、トピックの多様性、下流のパフォーマンスの観点から、高性能なニューラルトピックモデルを一貫して生成する。
論文 参考訳(メタデータ) (2024-02-12T11:18:32Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:55:21Z) - Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses [5.936682548344234]
本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
論文 参考訳(メタデータ) (2023-09-06T08:11:39Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳(メタデータ) (2022-05-21T19:49:04Z) - Representation Learning for Conversational Data using Discourse Mutual
Information Maximization [9.017156603976915]
構造を意識しない単語・バイ・ワード生成は効果的な会話モデリングには適さないと我々は主張する。
対話表現モデルの学習のための構造認識型相互情報に基づく損失関数DMIを提案する。
本モデルでは,対話評価タスクであるDailyDialog++において,ランダムな負のシナリオと逆のシナリオの両方において,最も有望な性能を示す。
論文 参考訳(メタデータ) (2021-12-04T13:17:07Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z) - Learning a Simple and Effective Model for Multi-turn Response Generation
with Auxiliary Tasks [22.585901751927995]
オープンドメイン対話のためのマルチターン応答生成について検討する。
本研究では,単純な構造を持ちながら,会話コンテキストを効果的に活用できるモデルを提案する。
論文 参考訳(メタデータ) (2020-04-04T16:37:00Z) - Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。
生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。
1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文 参考訳(メタデータ) (2020-02-24T16:20:32Z) - Variational Hierarchical Dialog Autoencoder for Dialog State Tracking
Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。
目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。
各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文 参考訳(メタデータ) (2020-01-23T15:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。