論文の概要: A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss

• arxiv url: http://arxiv.org/abs/2106.10619v1
• Date: Sun, 20 Jun 2021 04:39:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-23 12:47:01.570019
• Title: A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss
• Title（参考訳）: 意味的損失を伴う生成対話モデルの訓練効果に関する簡単な研究
• Authors: Prasanna Parthasarathi, Mohamed Abdelsalam, Joelle Pineau, Sarath Chandar
• Abstract要約: 本研究は,モデルが相互に反応し,セマンティックな類似度にスコア付けするための学習目標を最小化する効果について考察する。 目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。
• 参考スコア（独自算出の注目度）: 37.8626106992769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural models trained for next utterance generation in dialogue task learn to mimic the n-gram sequences in the training set with training objectives like negative log-likelihood (NLL) or cross-entropy. Such commonly used training objectives do not foster generating alternate responses to a context. But, the effects of minimizing an alternate training objective that fosters a model to generate alternate response and score it on semantic similarity has not been well studied. We hypothesize that a language generation model can improve on its diversity by learning to generate alternate text during training and minimizing a semantic loss as an auxiliary objective. We explore this idea on two different sized data sets on the task of next utterance generation in goal oriented dialogues. We make two observations (1) minimizing a semantic objective improved diversity in responses in the smaller data set (Frames) but only as-good-as minimizing the NLL in the larger data set (MultiWoZ) (2) large language model embeddings can be more useful as a semantic loss objective than as initialization for token embeddings.
• Abstract（参考訳）: 対話タスクにおける次の発話生成のために訓練されたニューラルモデルは、負の対数類似度(NLL)やクロスエントロピーといったトレーニング目標を持つトレーニングセットのn-gramシーケンスを模倣することを学ぶ。 このような一般的なトレーニング目標は、コンテキストに対する代替応答の生成を助長しない。 しかし, モデルが生成し, セマンティックな類似度にスコアを付けるための代替学習目標を最小化する効果は, 十分に研究されていない。 言語生成モデルは、学習中に代替テキストを生成し、意味的損失を補助目的として最小化することで、その多様性を向上させることができると仮定する。 目標指向対話における次の発話生成タスクにおける2つの異なるデータセットについて、このアイデアを探求する。 意味的目的を最小化する 小さいデータセット(フレーム)の応答の多様性を改善するが、大きなデータセット(multiwoz)のnllを最小化するのと同様に、単に、大きな言語モデル埋め込みは、トークン埋め込みの初期化よりも意味的損失目標として有用である。

関連論文リスト

• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• SDCUP: Schema Dependency-Enhanced Curriculum Pre-Training for Table Semantic Parsing [19.779493883522072]
  本稿では,テーブル事前学習のための学習表現に所望の帰納バイアスを課すために,2つの新しい事前学習目標を設計する。 本稿では,雑音の影響を緩和し,事前学習データから容易にハードな方法で効果的に学習する,スキーマ対応のカリキュラム学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-18T02:51:04Z)
• Lightweight Cross-Lingual Sentence Representation Learning [57.9365829513914]
  メモリ効率のよい言語間文表現を生成するために,2層のみの軽量なデュアルトランスフォーマーアーキテクチャを導入する。 本稿では,既存のシングルワードマスキング言語モデルと,新たに提案されたクロスランガルトークンレベルの再構築タスクを組み合わせた,新しい言語間言語モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-28T14:10:48Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Group-wise Contrastive Learning for Neural Dialogue Generation [29.749195182401344]
  対話生成に比較学習を導入し、モデルが肯定的発話と否定的発話の差を明示的に知覚する。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対照対話学習を強化した。
  論文  参考訳（メタデータ） (2020-09-16T08:28:30Z)
• Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets [0.0]
  本研究では,音素識別タスクにおける2つの予測符号化モデル,自動回帰予測符号化とコントラスト予測符号化の挙動について検討した。 実験の結果, 自己回帰損失と音素識別スコアとの間には, 強い相関関係が認められた。 CPCモデルは、トレーニングデータを渡した後既に急速に収束しており、平均すると、その表現は両方の言語でのAPCよりも優れています。
  論文  参考訳（メタデータ） (2020-07-08T15:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。