論文の概要: Pretraining the Noisy Channel Model for Task-Oriented Dialogue

• arxiv url: http://arxiv.org/abs/2103.10518v1
• Date: Thu, 18 Mar 2021 20:52:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-22 22:24:13.985016
• Title: Pretraining the Noisy Channel Model for Task-Oriented Dialogue
• Title（参考訳）: タスク指向対話のための雑音チャネルモデルの事前学習
• Authors: Qi Liu, Lei Yu, Laura Rimell, Phil Blunsom
• Abstract要約: 対話タスクを2つのモデルに分解するためにベイズの定理を使うことを議論する。 ノイズチャネルモデルは、直接デコードよりも優れた応答をデコードする。
• 参考スコア（独自算出の注目度）: 34.902228343998345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct decoding for task-oriented dialogue is known to suffer from the explaining-away effect, manifested in models that prefer short and generic responses. Here we argue for the use of Bayes' theorem to factorize the dialogue task into two models, the distribution of the context given the response, and the prior for the response itself. This approach, an instantiation of the noisy channel model, both mitigates the explaining-away effect and allows the principled incorporation of large pretrained models for the response prior. We present extensive experiments showing that a noisy channel model decodes better responses compared to direct decoding and that a two stage pretraining strategy, employing both open-domain and task-oriented dialogue data, improves over randomly initialized models.
• Abstract（参考訳）: タスク指向対話の直接的なデコーディングは、短い応答と一般的な応答を好むモデルに現れる説明-回避効果に苦しむことが知られている。 ここでは、対話タスクを2つのモデルに分解するベイズ定理(英語版)、応答が与えられたコンテキストの分布、応答自身に対する前置(英語版)を用いることを議論する。 このアプローチは、ノイズチャネルモデルのインスタンス化であり、どちらも説明アウト効果を緩和し、応答前の大きな事前学習モデルの原則化を可能にする。 本稿では、直接復号化よりもノイズの多いチャネルモデルをデコードし、オープンドメインとタスク指向の対話データを用いた2段階事前学習戦略をランダムに初期化モデルよりも改善することを示す。

関連論文リスト

• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Diffusion Action Segmentation [63.061058214427085]
  本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。 このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
  論文  参考訳（メタデータ） (2023-03-31T10:53:24Z)
• Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation [53.87485260058957]
  本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。 本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。 異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T14:45:29Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Multi-Referenced Training for Dialogue Response Generation [36.24321477524634]
  実世界の確率分布と単一参照データの確率分布とのギャップは,モデルが1対多の関係を効率的に学習することを妨げることを示す。 我々は、実世界の分布をよりよく近似するマルチ参照データを構築するために、強力な事前学習モデルから多様な擬似参照を生成する。
  論文  参考訳（メタデータ） (2020-09-15T14:17:53Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Multi-Domain Dialogue Acts and Response Co-Generation [34.27525685962274]
  本稿では,対話行動と応答を同時に生成するニューラルコジェネレーションモデルを提案する。 我々のモデルは, 自動評価と人的評価の両方において, いくつかの最先端モデルに対して, 極めて良好な改善を達成している。
  論文  参考訳（メタデータ） (2020-04-26T12:21:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。