論文の概要: Adaptive Bridge between Training and Inference for Dialogue

• arxiv url: http://arxiv.org/abs/2110.11560v1
• Date: Fri, 22 Oct 2021 02:43:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-25 15:36:00.083585
• Title: Adaptive Bridge between Training and Inference for Dialogue
• Title（参考訳）: 対話の学習と推論の適応的ブリッジ
• Authors: Haoran Xu, Hainan Zhang, Yanyan Zou, Hongshen Chen, Zhuoye Ding, Yanyan Lan
• Abstract要約: そこで本研究では,新たな適応型スイッチング機構を提案する。 提案手法は,メートル法に基づく評価と人的評価の観点から,大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 36.64781557775641
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although exposure bias has been widely studied in some NLP tasks, it faces its unique challenges in dialogue response generation, the representative one-to-various generation scenario. In real human dialogue, there are many appropriate responses for the same context, not only with different expressions, but also with different topics. Therefore, due to the much bigger gap between various ground-truth responses and the generated synthetic response, exposure bias is more challenging in dialogue generation task. What's more, as MLE encourages the model to only learn the common words among different ground-truth responses, but ignores the interesting and specific parts, exposure bias may further lead to the common response generation problem, such as "I don't know" and "HaHa?" In this paper, we propose a novel adaptive switching mechanism, which learns to automatically transit between ground-truth learning and generated learning regarding the word-level matching score, such as the cosine similarity. Experimental results on both Chinese STC dataset and English Reddit dataset, show that our adaptive method achieves a significant improvement in terms of metric-based evaluation and human evaluation, as compared with the state-of-the-art exposure bias approaches. Further analysis on NMT task also shows that our model can achieve a significant improvement.
• Abstract（参考訳）: 露光バイアスはいくつかのNLPタスクで広く研究されているが、対話応答生成において特有の課題に直面している。 実際の人間対話では、同じ文脈に対して適切な応答が多数存在し、異なる表現を持つだけでなく、異なる話題を持つ。 そのため,対話生成作業では,接地反応と生成した合成応答とのギャップが大きいため,露光バイアスがより困難である。 さらに、MLEがモデルに対して、異なる基幹的応答の共通語のみを学ぶことを奨励する一方で、興味深く特定の部分を無視しているため、露出バイアスが"I don't know"や"HaHaHa"といった一般的な応答生成問題にさらに繋がる可能性がある。 本稿では,コサイン類似度などの単語レベルのマッチングスコアについて,接地学習と生成学習との自動トランジットを学習する適応スイッチング機構を提案する。 中国STCデータセットと英語Redditデータセットの両方の実験結果から,我々の適応的手法は,最先端の露光バイアスアプローチと比較して,メートル法に基づく評価と人的評価において著しく改善されていることが示された。 NMTタスクに関するさらなる分析は、我々のモデルが大幅に改善できることを示している。

関連論文リスト

• Multi-level Adaptive Contrastive Learning for Knowledge Internalization in Dialogue Generation [37.55417272177113]
  知識基底対話生成は、文脈を補うために外部知識を統合することを目的としている。 しかし、このモデルはしばしば、この情報を人間的な方法で応答に内部化するのに失敗する。 否定例を動的にサンプリングし,その後に退化挙動をペナルティ化する多段階適応コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-13T08:16:27Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Learning from Perturbations: Diverse and Informative Dialogue Generation with Inverse Adversarial Training [10.17868476063421]
  Inverse Adversarial Training (IAT) アルゴリズムを提案する。 IATはモデルに対話履歴の摂動に敏感であり、従って摂動から学ぶことを奨励する。 提案手法は対話履歴をモデル化し,より多様で一貫した応答を生成する。
  論文  参考訳（メタデータ） (2021-05-31T17:28:37Z)
• Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration [45.14559188965439]
  ユーザシミュレータを使わずにmleベースの言語モデルの洗練に強化学習を適用することを提案する。 我々は報酬を通じて繰り返し、矛盾、タスク関連に関する文レベル情報を蒸留する。 実験により,我々のモデルは,自動測定結果と人的評価結果の両方において,従来の最先端対話モデルよりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2020-12-31T00:02:51Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Group-wise Contrastive Learning for Neural Dialogue Generation [29.749195182401344]
  対話生成に比較学習を導入し、モデルが肯定的発話と否定的発話の差を明示的に知覚する。 ヒトの会話におけるマルチマッピング関係を管理するために,グループワイド二重サンプリングによる対照対話学習を強化した。
  論文  参考訳（メタデータ） (2020-09-16T08:28:30Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。