論文の概要: Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
- arxiv url: http://arxiv.org/abs/2105.09235v1
- Date: Wed, 19 May 2021 16:34:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-20 14:02:25.045158
- Title: Retrieval-Augmented Transformer-XL for Close-Domain Dialog Generation
- Title（参考訳）: 近接ドメインダイアログ生成のための検索型transformer-xl
- Authors: Giovanni Bonetta, Rossella Cancelliere, Ding Liu, Paul Vozila
- Abstract要約: マルチターン対話応答生成のための変換器モデルを提案する。
提案手法は,トランスフォーマーに基づく生成モデルに新たな検索機構を付加したハイブリッドアプローチに基づいている。
- 参考スコア（独自算出の注目度）: 16.90730526207747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based models have demonstrated excellent capabilities of
capturing patterns and structures in natural language generation and achieved
state-of-the-art results in many tasks. In this paper we present a
transformer-based model for multi-turn dialog response generation. Our solution
is based on a hybrid approach which augments a transformer-based generative
model with a novel retrieval mechanism, which leverages the memorized
information in the training data via k-Nearest Neighbor search. Our system is
evaluated on two datasets made by customer/assistant dialogs: the Taskmaster-1,
released by Google and holding high quality, goal-oriented conversational data
and a proprietary dataset collected from a real customer service call center.
Both achieve better BLEU scores over strong baselines.
- Abstract（参考訳）: トランスフォーマーベースのモデルは、自然言語生成におけるパターンや構造をキャプチャする優れた能力を示し、多くのタスクで最先端の結果を達成した。
本稿では,マルチターン対話応答生成のためのトランスモデルを提案する。
提案手法は,k-Nearest Neighborサーチによる学習データ中の記憶情報を利用した,トランスフォーマーに基づく生成モデルに新たな検索機構を付加したハイブリッド手法に基づいている。
googleがリリースしたtaskmaster-1は、高品質で目標指向の会話データと、実際のカスタマーサービスコールセンターから収集されたプロプライエタリなデータセットを持っている。
どちらも強いベースラインよりも優れたBLEUスコアを達成する。
関連論文リスト
- Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2023-11-15T16:26:49Z) - Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。
事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
論文 参考訳（メタデータ） (2022-09-15T22:37:22Z) - AARGH! End-to-end Retrieval-Generation for Task-Oriented Dialog [3.42658286826597]
AARGHは、単一モデルにおける検索と生成のアプローチを組み合わせたエンドツーエンドのタスク指向対話システムである。
提案手法は,状態追跡とコンテキスト・ツー・レスポンス生成性能を維持・改善しながら,より多様な出力を生成する。
論文 参考訳（メタデータ） (2022-09-08T08:15:22Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - A Model-Agnostic Data Manipulation Method for Persona-based Dialogue
Generation [107.82729587882397]
現在のペルソナベースの対話データセットのスケールアップには費用がかかる。
このタスクの各データサンプルは、従来の対話データよりも複雑である。
本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
論文 参考訳（メタデータ） (2022-04-21T03:49:54Z) - Quick Starting Dialog Systems with Paraphrase Generation [0.0]
本稿では,既存の事例からより多くのデータを人工的に生成することで,対話エージェント作成のコストと労力を削減する手法を提案する。
提案手法は,人間の努力がほとんどないダイアログシステムを起動し,実際のエンドユーザーとの対話を可能にするのに十分なレベルの性能を実現する。
論文 参考訳（メタデータ） (2022-04-06T02:35:59Z) - Context Matters in Semantically Controlled Language Generation for
Task-oriented Dialogue Systems [6.1478669848771546]
本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。
我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
論文 参考訳（メタデータ） (2021-11-28T11:48:02Z) - Robust Conversational AI with Grounded Text Generation [77.56950706340767]
GTGは、大規模なTransformerニューラルネットワークをバックボーンとして使用するハイブリッドモデルである。
タスク完了のための対話的信念状態と実世界の知識に基づく応答を生成する。
論文 参考訳（メタデータ） (2020-09-07T23:49:28Z) - Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。
提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
論文 参考訳（メタデータ） (2020-03-03T18:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。