論文の概要、ライセンス

# (参考訳) 知識ベースタスク指向対話システムのためのテンプレート誘導型ハイブリッドポインタネットワーク [全文訳有]

A Template-guided Hybrid Pointer Network for Knowledge-basedTask- oriented Dialogue Systems ( http://arxiv.org/abs/2106.05830v1 )

ライセンス: CC BY 4.0
Dingmin Wang, Ziyao Chen, Wanwei He, Li Zhong, Yunzhe Tao, Min Yang(参考訳) 既存のニューラルネットワークベースのタスク指向対話システムは、エンコーダ-デコーダパラダイムに従っており、デコーダは純粋にソーステキストに依存して、不安定で可読性の悪い単語列を生成する。 従来のテンプレート・ベース・ジェネレーション・アプローチにインスパイアされた,知識に基づくタスク指向対話システムのためのテンプレート誘導型ハイブリッド・ポインター・ネットワークを提案する。 具体的には,ゲッティング機構を備えたメモリポインタネットワークモデルの設計を行い,得られた回答と接地応答とのセマンティック相関を十分に活用する。 4つのタスク指向データセットについて評価を行い,1つのシミュレーションデータセットと3つの手動生成データセットについて検討した。 実験の結果, 提案手法は, 異なる自動評価指標に対して, 最先端手法よりも有意に優れた性能が得られることがわかった。

Most existing neural network based task-oriented dialogue systems follow encoder-decoder paradigm, where the decoder purely depends on the source texts to generate a sequence of words, usually suffering from instability and poor readability. Inspired by the traditional template-based generation approaches, we propose a template-guided hybrid pointer network for the knowledge-based task-oriented dialogue system, which retrieves several potentially relevant answers from a pre-constructed domain-specific conversational repository as guidance answers, and incorporates the guidance answers into both the encoding and decoding processes. Specifically, we design a memory pointer network model with a gating mechanism to fully exploit the semantic correlation between the retrieved answers and the ground-truth response. We evaluate our model on four widely used task-oriented datasets, including one simulated and three manually created datasets. The experimental results demonstrate that the proposed model achieves significantly better performance than the state-of-the-art methods over different automatic evaluation metrics.
公開日: Thu, 10 Jun 2021 15:49:26 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
A Template-guided Hybrid Pointer Network for Knowledge-based テンプレート誘導型知識ベースハイブリッドポインタネットワーク 0.77
Task-oriented Dialogue Systems タスク指向対話システム 0.76
Dingmin Wang1, Ziyao Chen2, Wanwei He3, Li Zhong4, Yunzhe Tao5, Min Yang3 Dingmin Wang1, Ziyao Chen2, Wanwei He3, Li Zhong4, Yunzhe Tao5, Min Yang3 0.88
1Department of Computer Science, University of Oxford, UK オックスフォード大学 コンピュータ科学科 0.35
2Tencent, Guangzhou, China 中国広州2Tencent 0.54
3Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China 中国中国科学院深セン高等技術研究所 0.50
4ByteDance, Shenzhen, China, 5Amazon Web Services, Seattle, USA 4bytedance, shenzhen, china, 5amazon web services, seattle, usa 0.83
1 2 0 2 n u J 1 2 0 2 n u J 0.85
0 1 ] L C . s c [ 0 1 ]LC。 sc [ 0.60
1 v 0 3 8 5 0 1 v 0 3 8 5 0 0.85
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
dingmin.wang@cs.ox.a c.uk yateschen@tencent.co m yunzhet@amazon.com dingmin.wang@cs.ox.u k yateschen@tencent.co m Yunzhet@amazon.com 0.55
{ww.he,min.yang}@siat.ac.cn zhongli.reginald@byt edance.com ww.he,min.yang}@siat.ac.cn zhongli.reginald@byt edance.com 0.57
Abstract Most existing neural network based taskoriented dialogue systems follow encoderdecoder paradigm, where the decoder purely depends on the source texts to generate a sequence of words, usually suffering from instability and poor readability. 概要 既存のニューラルネットワークベースのタスク指向対話システムは、エンコーダデコーダパラダイムに従っており、デコーダは純粋にソーステキストに依存して、不安定で可読性の悪い単語列を生成する。 0.57
Inspired by the traditional template-based generation approaches, we propose a template-guided hybrid pointer network for the knowledgebased task-oriented dialogue system, which retrieves several potentially relevant answers from a pre-constructed domain-specific conversational repository as guidance answers, and incorporates the guidance answers into both the encoding and decoding processes. 従来のテンプレート・ベース・ジェネレーション・アプローチにインスパイアされた,知識に基づくタスク指向対話システムのためのテンプレート誘導型ハイブリッド・ポインター・ネットワークを提案する。
訳抜け防止モード: 従来のテンプレートベースの生成アプローチに触発された。 本稿では,知識ベースタスク指向対話システムのためのテンプレート誘導ハイブリッドポインターネットワークを提案する。 これは、事前構築されたドメイン-特定の会話レポジトリから、いくつかの関連する回答をガイダンスとして取り出す。 そして、エンコーディングとデコードの両方のプロセスにガイダンスの回答を組み込む。
0.62
Specifically, we design a memory pointer network model with a gating mechanism to fully exploit the semantic correlation between the retrieved answers and the ground-truth response. 具体的には,ゲッティング機構を備えたメモリポインタネットワークモデルの設計を行い,得られた回答と接地応答とのセマンティック相関を十分に活用する。 0.78
We evaluate our model on four widely used task-oriented datasets, including one simulated and three manually created datasets. 4つのタスク指向データセットについて評価を行い,1つのシミュレーションデータセットと3つの手動生成データセットについて検討した。 0.51
The experimental results demonstrate that the proposed model achieves significantly better performance than the state-of-the-art methods over different automatic evaluation metrics 1. 実験結果から, 提案手法は, 各種自動評価指標の1。 0.34
Introduction 1 Task oriented dialogue systems have attracted increasing attention recently due to broad applications such as reserving restaurants and booking flights. はじめに 1 タスク指向対話システムは最近、レストランの予約や予約フライトといった幅広い応用により注目を集めている。 0.62
Conventional task-oriented dialogue systems are mainly implemented by rule-based methods (Lemon et al , 2006; Wang and Lemon, 2013), which rely heavily on the hand-crafted features, establishing significant barriers for adapting the dialogue systems to new domains. 従来のタスク指向対話システムは、主にルールベースの手法(lemon et al, 2006; wang and lemon, 2013)によって実装されており、手作りの特徴に重きを置いている。 0.59
Motivated by the great success of deep learning in various NLP tasks, the neural network based methods (Bordes ニューラルネットワークに基づく様々なNLPタスクにおけるディープラーニングの大成功に動機づけられた(Bordes) 0.78
1https://github.com/ wdimmy/THPN 1https://github.com/ wdimmy/THPN 0.36
et al , 2017; Eric and Manning, 2017; Madotto et al , 2018) have dominated the study since these methods can be trained in an end-to-end manner and scaled to different domains. et al , 2017; eric and manning, 2017; madotto et al , 2018) これらの手法はエンドツーエンドでトレーニングでき、異なるドメインにスケールできるため、この研究を圧倒している。 0.79
Despite the remarkable progress of previous studies, the performance of task-oriented dialogue systems is still far from satisfactory. 従来の研究の顕著な進歩にもかかわらず、タスク指向対話システムの性能はまだ十分ではない。 0.65
On one hand, due to the exposure bias problem (Ranzato et al , 2016), the neural network based models, e g , the sequence to sequence models (seq2seq), tend to accumulate errors with increasing length of the generation. 一方、露出バイアス問題(ranzato et al , 2016)により、ニューラルネットワークベースのモデル(sequence to sequence model (seq2seq))は、生成時間の増加とともにエラーを蓄積する傾向がある。 0.69
Concretely, the first several generated words can be reasonable, while the quality of the generated sequence deteriorates quickly once the decoder produces a “bad” word. 具体的には、最初に生成された複数の単語は合理的であり、デコーダが“悪い”単語を生成すると、生成されたシーケンスの品質が急速に低下する。
訳抜け防止モード: 具体的に言うと 最初の数個の単語は 生成されたシーケンスの品質は、デコーダが“悪い”単語を生成するとすぐに低下する。
0.76
On the other hand, as shown in previous works (Cao et al , 2018; Madotto et al , 2018), the Seq2Seq models are likely to generate non-committal or similar responses that often involve high-frequency words or phrases. 一方、以前の作品(Cao et al , 2018; Madotto et al , 2018)で示されているように、Seq2Seqモデルは、しばしば高周波の単語やフレーズを含む非コミットまたは類似の応答を生成する可能性が高い。 0.70
These responses are usually of low informativeness or readability. これらの応答は通常、低情報性または可読性である。 0.63
This may be because that arbitrarylength sequences can be generated, and it is not enough for the decoder to be purely based on the source input sentence to generate informative and fluent responses. これは任意の長さ列を生成できるためであり、デコーダが純粋にソース入力文に基づくだけでは十分ではないため、情報的かつ流動的な応答を生成する可能性がある。 0.65
We demonstrate empirically that in task-oriented dialogue systems, the responses for the requests with similar types often follow the same sentence structure except that different named entities are used according to the specific dialogue context. 我々は,タスク指向対話システムにおいて,類似型の要求に対する応答は,特定の対話コンテキストに応じて異なる名前のエンティティが使用される以外は,しばしば同じ文構造に従うことを実証的に実証した。 0.72
Table 1 shows two conversations from real taskoriented dialogues about navigation and weather. 表1は、ナビゲーションと天気に関する実際のタスク指向の対話から2つの会話を示す。 0.59
From the navigation case, we can observe that although the two requests are for different destinations, the corresponding responses are similar in sentence structure, replacing “children’s health” with “5677 springer street”. ナビゲーションのケースでは、2つのリクエストは異なる目的地に向けられているが、対応する応答は文構造において類似しており、“児童の健康”を“5677 Springer Street”に置き換えている。 0.76
For the weather example, it requires the model to first detect the entity “carson” and then query the corresponding information from the knowledge base (KB). 天気予報の例として、まずエンティティ“カーソン”を検出し、それに対応する情報を知識ベース(KB)からクエリする必要がある。 0.70
After obtaining 取得後 0.74
英語(論文から抽出)日本語訳スコア
Table 1: Two example conversations from real dialogues about navigation and weather. 表1:ナビゲーションと天気に関する実際の対話からの2つの例。 0.70
Navigation User ナビゲーション ユーザ 0.77
Retrieve please give me directions to 5677 spring street q1: direct me to stanford children’s health a1: no problem, I will be navigating you to stanford children’s health right now 検索 5677スプリングストリートq1へ スタンフォードの子どもの健康a1へ 問題ありません 今すぐスタンフォードの子どもの健康に 誘導します
訳抜け防止モード: 検索 5677年春通りq1の案内をお願いします スタンフォードの子供にa1の健康を 問題ありません 私は今、スタンフォードの子供たちの健康状態にあなたを誘導します。
0.59
User Retrieve KB Gold ユーザ 検索 KB 金 0.69
no problem, 5677 spring street right now 問題ありません 今 5677のスプリングストリートです 0.78
I will be navigating you to 私はあなたをナビゲートします。 0.60
KB Gold Weather what is the temperature of carson on tuesday q1: the temperature of new york on wednesday a1: the temperature in new york on wednesday will be low of 80f and high of 90f carson: tuesday low of 20f carson: tuesday high of 40f the temperature in carson on tuesday will be low of 20f and high of 40f KB 金 天気 火曜日のカーソンの温度: 水曜日のニューヨークの温度: 水曜日のニューヨークの温度: 80f、90f カーソン: 20f カーソン: 20f カーソン: 火曜日の温度: 40f カーソンの温度: 20f と 40f です
訳抜け防止モード: KB 金 天気 火曜日q1のカーソンの温度は? 水曜日a1のニューヨークの温度? 水曜日のニューヨークの気温は80fで90fのカーソンになります 火曜日の20fカーソンの最低値 火曜日は40fの気温で 火曜日は20fの温度で40fの温度で
0.74
the returned KB entries, we generate the response by replacing the corresponding entities in the retrieved candidate answer. 返されたKBエントリは、検索された候補回答の対応するエンティティを置き換えることで応答を生成します。
訳抜け防止モード: 返されたKBエントリはレスポンスを生成します 検索された候補回答の対応するエンティティを置き換える。
0.75
Therefore, we argue that the golden responses of the requests with similar types can provide a reference point to guide the response generation process and enable to generate high-quality responses for the given requests. したがって、類似したタイプの要求の黄金応答は、応答生成プロセスをガイドし、与えられた要求に対して高品質な応答を生成するための参照ポイントを提供することができると論じる。 0.71
In this paper, we propose a template-guided hybrid pointer network (THPN to generate the response given a user-issued query, in which the domain specific knowledge base (KB) and potentially relevant answers are leveraged as extra input to enrich the input representations of the decoder. 本稿では,ユーザからの問い合わせに応答するテンプレート誘導型ハイブリッドポインタネットワーク(THPN)を提案する。そこでは,ドメイン固有知識ベース(KB)と潜在的に関連する回答を余分な入力として利用し,デコーダの入力表現を充実させる。 0.83
Here, knowledge base refers to the database to store the relevant and necessary information for supporting the model in accomplishing the given tasks. ここで、知識ベースは、与えられたタスクを達成する際にモデルをサポートするための関連情報と必要な情報を格納するデータベースを指す。 0.71
We follow previous works and use a triple (subject, relation, object) representation. 以前の作業に従い、三重(オブジェクト、関係、オブジェクト)表現を使用します。 0.71
For example, the triple (Starbucks, address, 792 Bedoin St) is an example in KB representing the information related to the Starbucks. 例えば、トリプル (Starbucks, address, 792 Bedoin St) は、KBでスターバックスに関連する情報を表す例である。 0.73
Specifically, given a query, we first retrieve top-n answer candidates from a pre-constructed conversational repository with question-answer pairs using BERT (Devlin et al , 2018). 具体的には、クエリーが与えられたら、まず、BERT (Devlin et al , 2018) を用いて質問応答対を持つ事前構築された会話リポジトリからトップnの回答候補を検索する。 0.57
Then, we extend memory networks (Sukhbaatar et al , 2015) to incorporate the commonsense knowledge from KB to learn the knowledge-enhanced representations of the dialogue history. そして、メモリネットワーク(Sukhbaatar et al , 2015)を拡張し、KBからのコモンセンス知識を取り入れ、対話履歴の知識強調表現を学習する。 0.75
Finally, we introduce a gating mechanism to effectively utilize candidate answers and improve the decoding process. 最後に, 候補回答を効果的に活用し, 復号処理を改善するゲーティング機構を提案する。 0.75
The main contributions of this paper can be summarized as follows: 本論文の主な貢献は以下のとおりである。 0.69
• We propose a hybrid pointer network consisting of entity pointer network (EPN) and pattern pointer network (PPN) to generate informative and relevant responses. • エンティティ・ポインター・ネットワーク(EPN)とパターン・ポインター・ネットワーク(PPN)を組み合わせたハイブリッド・ポインター・ネットワークを提案する。
訳抜け防止モード: •エンティティポインターネットワーク(EPN)からなるハイブリッドポインターネットワークを提案する。 およびパターンポインタネットワーク(PPN) 情報や関連性のある反応を 生み出します
0.72
EPN copies entity words from dialogue history, and PPN extracts pattern words from retrieved answers. EPNは対話履歴から実体語をコピーし、PPNは検索された回答からパターン語を抽出する。 0.60
• We introduce a gating mechanism to learn •学習のためのゲーティング機構を導入する 0.77
the semantic correlations between the userissued query and the retrieved candidate answers, which reduces the “noise” brought by the retrieved answers. ユーザ発行クエリと検索された候補回答のセマンティックな相関関係は、検索された回答がもたらす“ノイズ”を減らす。 0.73
• We evaluate the effectiveness of our model on four benchmark task-oriented dialogue datasets from different domains. •異なるドメインの4つのベンチマークタスク指向対話データセットにおけるモデルの有効性を評価した。 0.69
Experimental results demonstrate the superiority of our proposed model. 実験の結果,提案モデルの有効性が示された。 0.66
2 Related Work Task-oriented dialogue systems are mainly studied via two different approaches: pipeline based and end-to-end. 2 関連作業 タスク指向対話システムは、パイプラインベースとエンドツーエンドという2つの異なるアプローチで主に研究されている。 0.67
Pipeline based models (Williams and Young, 2007; Young et al , 2013) achieve good stability but need domain-specific knowledge and handcrafted labels. パイプラインベースのモデル(Williams and Young, 2007; Young et al , 2013)は優れた安定性を実現するが、ドメイン固有の知識と手作りラベルが必要である。 0.70
End-to-end methods have shown promising results recently and attracted more attention since they are easily adapted to a new domain. エンド・ツー・エンドのメソッドは最近有望な結果を示しており、新しいドメインに容易に適応できるため、より多くの注目を集めている。 0.54
Neural network based dialogue systems can avoid the laborious feature engineering since the neural networks have great ability to learn the latent representations of the input text. ニューラルネットワークベースの対話システムは、入力テキストの潜在表現を学習する能力に優れたニューラルネットワークがあるため、面倒な特徴工学を避けることができる。 0.76
However, as revealed by previous studies (Koehn and Knowles, 2017; Cao et al , 2018; He et al , 2019), the performance of the sequence to sequence model deteriorates quickly with the increase of the length of generation. しかし、以前の研究(Koehn and Knowles, 2017; Cao et al , 2018; He et al , 2019)で明らかになったように、シーケンスモデルに対するシーケンスの性能は世代長の増加とともに急速に低下する。 0.78
Therefore, how to improve the stability and readability of the neural network models has attracted increasing attention. したがって、ニューラルネットワークモデルの安定性と可読性を改善する方法が注目されている。 0.78
Eric et al (2017) proposed a copy augmented Seq2Seq model by copying relevant information directly from the KB information. Eric et al (2017) は、KB情報から直接関連情報をコピーすることで、Seq2Seqモデルを拡張したコピーを提案した。 0.65
Madotto et al (2018) proposed a generative model by employing the multi-hop attention over memories with the idea of pointer network. madotto et al (2018) は、ポインターネットワークの概念を用いて記憶にマルチホップの注意を向けることで生成モデルを提案した。 0.63
Wu et al (2019) proposes a global-tolocally pointer mechanism to effectively utilize the knowledge base information, which improves the wu et al (2019) は知識ベース情報を有効に活用するためのグローバル・ローカル・ポインター機構を提案する。 0.74
英語(論文から抽出)日本語訳スコア
quality of the generated response. 生成した応答の品質。 0.77
Previous proposed neural approaches have shown the importance of external knowledge in the sequence generation (Chen et al , 2017; Zhu et al , 2018; Yang et al , 2019; Zhang et al , 2019; Ding et al , 2019), especially in the task-oriented dialogue systems where an appropriate response usually requires correctly extracting knowledge from the domain-specific or commonsense knowledge base (Madotto et al , 2018; Zhu et al , 2018; Qin et al , 2019). 従来提案されていたニューラルネットワークアプローチでは、シーケンス生成における外部知識(Chen et al , 2017; Zhu et al , 2018; Yang et al , 2019; Zhang et al , 2019; Ding et al , 2019)の重要性が示されている。
訳抜け防止モード: 従来提案されたニューラルアプローチは、シーケンス生成における外部知識の重要性を示している( Chen et al, 2017 ; Zhu et al,)。 2018年、Yang et al, 2019年、Zhang et al。 2019 ; Ding et al, 2019)、特にタスク指向の対話システムにおいて、適切な応答は通常、ドメインから知識を正しく抽出する必要がある。 あるいは常識知識ベース(Mamotto et al, 2018; Zhu et al, 2018; Qin et al, 2019)。
0.83
However, it is still under great exploration with regard with the inclusion of external knowledge into the model. しかし、外部知識をモデルに含めることについてはまだ大きな研究が続けられている。 0.73
Yan et al (2016); Song et al (2018) argue that retrieval and generative methods have their own demerits and merits, and they have achieved good performance in the chit-chat response generation by incorporating the retrieved results in the Seq2Seq based models. Yan et al (2016); Song et al (2018) は、検索法と生成法には独自のデメリットとメリットがあり、得られた結果をSeq2Seqベースのモデルに組み込むことで、チップチャット応答生成において優れた性能を達成していると主張している。 0.62
Zhu et al (2018) proposed an adversarial training approach, which is enhanced by retrieving some related candidate answers in the neural response generation, and Ghazvininejad et al (2018) also applies a similar method in the neural conversation model. Zhu et al (2018) は、神経応答生成におけるいくつかの関連する候補回答を検索することによって強化される対逆訓練アプローチを提案し、Ghazvininejad et al (2018) も神経会話モデルに同様の手法を適用した。 0.77
In addition, in task-oriented dialogue tasks, the copy mechanism (Gulcehre et al , 2016) has also been widely utilized (Eric and Manning, 2017; Madotto et al , 2018), which shows the superiority of generation based methods with copy strategy. さらに、タスク指向の対話タスクでは、コピー機構(Gulcehre et al , 2016)も広く利用されており(Eric and Manning, 2017; Madotto et al , 2018)、コピー戦略によるジェネレーションベースの手法の優位性を示している。 0.76
3 Methodology We build our model based on a seq2seq dialogue generation mode, and the overall architecture is exhibited in Figure 1. 3 方法論 我々はseq2seq対話生成モードに基づいてモデルを構築し、全体的なアーキテクチャを図1に示す。 0.81
Each module will be elaborated in the following subsections. 各モジュールは、以下のセクションで詳述される。 0.78
3.1 Encoder Module By checking if a word is in the given KB, we divide words into two types: entity words (EW) and non-entity words (NEW). 3.1 エンコーダモジュール 与えられたKB内にある単語をチェックすることにより、単語をエンティティワード(EW)と非エンティティワード(NEW)の2つのタイプに分割する。 0.76
Taking “what is the temperature of carson on tuesday” as an example, all words are NEW except for “carson” and “tuesday”. 例えば、“火曜日のカーソンの温度”を例にとると、すべての単語は“カーソン”と“火曜日”を除いてNEWである。 0.79
We represent a multi-turn dialogue as D = {(ui, si)}T i=1, where T is the number of turns in the dialogue, and ui and si denote the utterances of the user and the system at the ith turn, respectively. D = {(ui, si)}T i=1 であり、T は対話におけるターン数であり、ui と si はそれぞれ i ターンでのユーザーとシステムの発話を表す。 0.59
KB information is represented as KB = {k1, k2,··· , kl}, where ki is a tuple and l is the size of KB. KB情報はKB = {k1, k2,··· , kl} と表される。
訳抜け防止モード: KB 情報は KB = { k1, k2, · · · ·, kl } Kiはタプル、lはKBのサイズです。
0.71
Following Madotto et al (2018), we concatenate the previous dialogue and KB as input. Madotto et al (2018)に続いて、以前の対話とKBを入力として結合する。 0.63
At first turn, input to the decoder is [u1; KB], the concatenation of first 最初のターンでは、デコーダへの入力は[u1; kb]であり、最初の結合である 0.77
user request and KB. ユーザリクエストとkb。 0.63
For i > 1, previous history dialog information is included, namely, input is supposed to be [u1, s1,··· , ui; KB]. i > 1 の場合、以前の履歴ダイアログ情報、すなわち入力は [u1, s1,··· , ui; KB] であるはずである。 0.76
We define words in the concatenated input as a sequence of tokens W = {w1, w2,··· , wn}, where wj ∈ {u1, s1,··· , ui, KB} , n is the number of tokens. W = {w1, w2,··· , wn} ここで、wj ∈ {u1, s1,··· , ui, KB} はトークンの数である。
訳抜け防止モード: 連結入力中の単語をトークンW = { w1, のシーケンスとして定義する。 w2, · · · ·, wn } ここで wj ∈ { u1, s1, · · ·, ui, KB } n はトークンの数です。
0.84
In this paper, we use the memory network (MemNN) proposed in Sukhbaatar et al (2015) as the encoder module. 本稿では,Sukhbaatar et al (2015)で提案されているメモリネットワーク(MemNN)をエンコーダモジュールとして使用する。 0.82
The memories of MemNN are represented by a set of trainable embedding matrices M = {M 1, M 2,··· , M K}, where K represents the number of hops and each M k maps the input into vectors. MemNN の記憶は訓練可能な埋め込み行列 M = {M 1, M 2,··· , M K} で表され、K はホップの数を表し、各 M k は入力をベクトルにマッピングする。
訳抜け防止モード: MemNNの記憶は、訓練可能な埋め込み行列の集合 M = { M 1 で表される。 M 2 · · · ·, M K } ここで K はホップの数を表す。 そして各 M k は入力をベクトルにマッピングする。
0.83
Different from Sukhbaatar et al (2015); Madotto et al (2018), we initialize each M k with the pre-trained embeddings2, whose weights are set to be trainable. Sukhbaatar et al (2015) とは異なり、Madotto et al (2018) では、各 M k を事前訓練された埋め込み2 で初期化する。
訳抜け防止モード: sukhbaatar et al (2015) ; madotto et al (2018) とは異なる。 各 m k を pre-trained embeddeds2 で初期化する。 体重は訓練可能と設定されています
0.70
At hop k, W is mapped to a set of memory vectors, {mk n}, where the memory vectors mk i of dimension d from M k is computed by embedding each word in a continuous space, in the simplest case, using an embedding matrix A. ホップ k において、w は一連のメモリベクトル {mk n} に写像され、m k からの次元 d のメモリベクトル mk i は、各単語を連続空間に埋め込み、最も単純な場合、埋め込み行列 a を用いて計算される。 0.70
A query vector q is used as a reading head, which will loop over K hops and compute the attention weights at hop k for each memory by taking the inner product followed by a softmax function, クエリベクトルqを読み取りヘッドとして使用し、kホップ上をループし、内部積をsoftmax関数として、各メモリのhop kにおける注意重みを計算する。 0.77
2,··· , mk 1, mk 2···・mk 1mk 0.68
(cid:18)(cid:16) (cid:18)(cid:16) 0.75
qk(cid:17)T qk(cid:17)T 0.88
(cid:19) pk i = softmax (cid:19) pk i = ソフトマックス 0.82
mk i (1) (cid:88) mk i (1) (cid:88) 0.83
where pk i is a soft memory selector that decides the memory relevance with respect to the query vector q. pk i は、クエリベクトル q に関してメモリの関連性を決定するソフトメモリセレクタである。 0.75
The model then gets the memory ck by the weighted sum over mk+1, モデルは mk+1 上の重み付き和でメモリ ck を得る。 0.75
ck = i mk+1 pk ck = i mk+1 pk 0.82
i (2) i In addition, the query vector is updated for the next hop by qk+1 = qk + ck. 私は (2) 私は さらに、クエリベクトルは次のホップに対してqk+1 = qk + ckで更新される。 0.69
In total, we can achieve K hidden states encoded from MemNN, represented as C = {c1, c2,··· , cK}. 全体としては、c = {c1, c2,···· , ck} で表される memnn から符号化された k の隠れ状態を達成することができる。
訳抜け防止モード: 全体では、MemNNから符号化されたK個の隠れ状態が達成できる。 C = { c1, c2, · · · cK }。
0.72
Masking NEW in the history dialogue We observe that the ratio of non-entity words in both the history dialogue and the expected response is extremely low. 歴史対話における新しいマスキングは、歴史対話と期待応答の両方における非実体語の割合が極めて低いことを観察する。 0.75
Therefore, to prevent the model from copying non-entity words from the history di3 whose elements alogue, we introduce an array Rh are zeros and ones, where 0 denotes NEW and 1 for EW. したがって、モデルが要素をアローグする履歴di3から非エンティティな単語をコピーすることを防止するために、配列rhをゼロと1に紹介する。
訳抜け防止モード: したがって、要素が相反する履歴 di3 から非実体語をコピーすることを防止する。 配列 Rh を導入します ここで 0 は NEW と 1 の EW を表す。
0.72
When wi is pointed to, and if i is the sentinel location or Rh[i] = 0, then wi will not be copied. wi が指され、i がセンチネル位置または Rh[i] = 0 であれば、wi はコピーされない。
訳抜け防止モード: wi が指されるとき、そして、 i はセンチネル位置または Rh[i ] = 0 である。 じゃあ wiはコピーされない。
0.73
2https://s3-us-west- 1.amazonaws.com/ 2https://s3-us-west- 1.amazonaws.com/ 0.25
fasttext-vectors/wik i.en.vec. fasttext-vectors/wik i.en.vec 0.33
3The length of Rh equals to that of W . 3 Rh の長さは W の長さと等しい。 0.70
英語(論文から抽出)日本語訳スコア
Figure 1: The overall structure of our model. 図1: モデル全体の構造。 0.61
During test time, given a user query q, we retrieve at most 3 similar questions to q using BERT from QA Paris repository, and the corresponding answers are used as our answer templates. QA Paris リポジトリから BERT を用いて,ユーザクエリ q が与えられた場合,QA Paris リポジトリから BERT を用いて q に最もよく似た質問を3つ検索し,対応する回答を回答テンプレートとして利用する。
訳抜け防止モード: テスト期間中、ユーザクエリ q を指定します。 QA Paris リポジトリから BERT を使って q に最もよく似た質問を3つ取り出す。 対応する答えは 答えのテンプレートとして使われます
0.79
The retrieved answers as well as the dialogue history and KB information are then utilized for the response generation. 次に、検索した回答と対話履歴とkb情報とを応答生成に利用する。 0.65
Especially, we utilize the gating mechanism to filter out noise from unrelated retrieval results. 特に,無関係な検索結果からノイズを除去するためにゲーティング機構を利用する。 0.77
Finally, words are generated either from the vocabulary or directly copying from the multi-source information using a hybrid pointer network. 最後に、語彙から単語を生成するか、ハイブリッドポインタネットワークを用いて複数ソース情報から直接コピーする。 0.75
3.2 Retrieval Module 3.2 検索モジュール 0.66
For each dataset, we use the corresponding training data to pre-construct a question-answer repository. 各データセットに対して、対応するトレーニングデータを使用して、質問応答リポジトリを事前構築する。 0.59
In particular, we treat each post-response (ui and si) in a dialogue as a pair of question-answer. 特に,各ポストレスポンス (ui と si) を質問応答のペアとして対話的に扱う。 0.70
To effectively retrieve potentially relevant answers, we adopt a sentence matching based approach, in which each sentence is represented as a dense vector, and the cosine similarity serves as the selection metrics. 関連性のある回答を効果的に検索するために,各文が高密度ベクトルとして表現され,コサイン類似度が選択指標となる文マッチングに基づくアプローチを採用する。 0.79
We have explored several unsupervised text matching methods, such as BM25 (Robertson et al , 2009), Word2Vec (Mikolov et al , 2013b), and BERT (Devlin et al , 2018), and revealed that BERT could achieve the best performance. 我々はBM25 (Robertson et al , 2009), Word2Vec (Mikolov et al , 2013b), BERT (Devlin et al , 2018) などの教師なしテキストマッチング手法を探索し, BERTが最高の性能を発揮することを明らかにした。 0.83
In addition, based on our preliminary experiments, we observed that the number of retrieved answer candidates have an impact on the model performance, so we define a threshold θ for controlling the number of retrieval answer candidates. また,予備実験の結果から,検索した回答候補の数がモデル性能に影響を及ぼすことが明らかとなり,検索した回答候補の数を制御するためのしきい値θを定義した。 0.79
Specifically, for each question in the preconstructed database, we pre-compute the corresponding sentence embedding using BERT. 具体的には 事前構築されたデータベースの各質問に対して、対応する文をBERTを使ってプリコンパイルする。 0.55
Then, for each new user-issued query uq, we embed uq into ue q, and search in the pre-constructed database for the most similar requests based on cosine similarity. そして、新しいユーザ発行クエリuq毎に、uqをue qに埋め込み、コサインの類似性に基づいて、構築済みのデータベースを検索します。 0.71
The corresponding answers are selected and serve as our answer candidates. 回答は選択され、回答候補として機能します。 0.65
Masking EW in the retrieved answers In real dialogue scenes, the reply’s sentence structure 検索された回答におけるマスキングEW 実際の対話シーンでは、返信の文構造 0.77
might be similar but the involved entities are usually different. 似ているかもしれませんが 関係する実体は通常違います 0.58
To prevent the model from copying these entities, we introduce another array Rr similar to Rh mentioned before. モデルがこれらのエンティティをコピーすることを防止するため、前述したRhに似た別の配列Rrを導入する。 0.66
Finally, the retrieved candidate answers are encoded into lowdimension distributed representations, denoted as AN = {a1, a2,··· , am}, where m is the total number of the words. 最後に、検索された候補の回答は、a = {a1, a2,····· , am} と表される低次元分散表現に符号化され、m は単語の総数である。 0.71
Moreover, by an interaction between cK and AN = {a1, a2,··· , am}, we obtain a dense vector ha as the representation of the retrieved answers, さらに、cK と AN = {a1, a2,··· , am} の相互作用により、得られた答えの表現として高密度ベクトル ha を得る。 0.77
(cid:32) m(cid:88) (cid:32)m(cid:88) 0.77
i=1 (cid:0)W1 i=1 (cid:0)W1 0.66
(cid:2)cK; ai (cid:2)ck;ai 0.78
(cid:3)(cid:1)(cid:3 3) (cid:3)(cid:1)(cid:3 3) 0.74
(3) ha = W2tanh (3) ha = w2tanh 0.79
(cid:16) (cid:17) (cid:16) (cid:17) 0.78
3.3 Decoder Module We first apply Gated Recurrent Unit (GRU) (Chung et al , 2014) to obtain the hidden state ht, 3.3 デコーダモジュール 最初にゲートリカレントユニット(gru)(chung et al , 2014)を適用して隠れ状態htを得る。 0.72
φemb(yt−1), h∗ t−1 φemb(yt−1), h∗ t−1 0.72
ht = GRU (4) where φemb(·) is an embedding function that maps each token to a fixed-dimensional vector. ht = GRU (4) ここで φemb(·) は各トークンを固定次元ベクトルにマッピングする埋め込み関数である。 0.87
At the first time step, we use the special symbol “SOS” as y0 and the initial hidden state h∗ 0 = ha. 最初のステップでは、特殊記号 "SOS" を y0 として、初期隠れ状態 h∗ 0 = ha として使用する。 0.87
h∗ t−1 consists of three parts, namely, the last hidden state ht−1, the attention over C = {c1, c2,··· , cK} from the encoder module, denoted as H c, and H g, which is calculated by linearly transforming last state ht−1 and ha with a multi-layer perceptron network. h∗ t−1 は、最後の隠れ状態 ht−1、エンコーダモジュールからの C = {c1, c2,·· , cK} 上の注意、Hc, Hg の3つの部分から構成され、最後の状態 ht−1 と ha を多層パーセプトロンネットワークで線形に変換することによって計算される。 0.86
We formulate H c and H g as follows: Hc と Hg を次のように定式化する。 0.69
英語(論文から抽出)日本語訳スコア
H c = αi,tci, αi,t = h c = αi,tci,αi,t = 0.85
(cid:80)K K(cid:88) (cid:80)k k(cid:88) 0.81
i=1 Attention over C = {c1, c2,··· , cK} Since MemNN consists of multiple hops, we believe that different hops are relatively independent and have their own semantic meanings over the history dialog. i=1 C = {c1, c2,··· , cK} MemNNは複数のホップからなるので、異なるホップは比較的独立であり、歴史ダイアログに対して独自の意味を持っていると信じている。 0.66
At different time steps, we need to use different semantic information to generate different tokens, so our aim is to get a context-aware representation. 異なる時間ステップでは、異なるトークンを生成するために異なる意味情報を使用する必要があります。
訳抜け防止モード: 異なる時間ステップでは、異なるトークンを生成するために異なる意味情報を使用する必要があります。 ですから私たちの目標は,コンテキストを意識した表現を得ることです。
0.53
We can achieve it by applying attention mechanism to the hidden states achieved at different hops, 異なるホップで達成された隠れ状態に注意機構を適用することで達成できる。 0.70
eη(ht−1,ci) i=1 eη(ht−1,ci) eη(ht−1,ci) i=1 eη(ht−1,ci) 0.75
(5) where η is the function that represents the correspondence for attention, usually approximated by a multi-layer neural network. (5) ここでηは注意の対応を表す関数であり、通常多層ニューラルネットワークによって近似される。 0.82
Template-guided gating mechanism As reported in Song et al (2018), the top-ranked retrieved reply is not always the one that best match the query, and multiple retrieved replies may provide different reference information to guide the response generation. song et al (2018)で報告されているように、テンプレート誘導ゲーティングメカニズムでは、トップランクの検索応答応答がクエリに最も適しているとは限らないため、複数の検索応答は応答生成を導くために異なる参照情報を提供する可能性がある。 0.62
However, using multiple retrieved replies may increase the probability of introducing “noisy” information, which adversely reduces the quality of the response generation. しかし、複数のリプライを検索すると、“ノイズ”情報を導入する確率が増大し、応答生成の品質が低下する可能性がある。 0.61
To tackle this issue, we add a gating mechanism to the hidden state of candidate answers, aiming at extracting valuable “information” at different time steps. この問題に対処するために、異なる時間ステップで価値ある“情報”を抽出することを目的として、候補回答の隠れ状態にゲーティング機構を追加する。 0.73
Mathematically, H g = sigmoid (ha (cid:12) ht−1) (cid:12) ha 数学的には H g = sigmoid (ha (cid:12) ht−1) (cid:12) ha 0.69
(6) We use element-wise multiplication to model the interaction between candidate answers (ha) and last hidden state of GRU. (6) 候補回答 (ha) と最後の隠れ状態の相互作用をモデル化するために要素分割乗法を用いる。 0.75
h∗ t−1 is obtained by concatenating ht−1, H c, and H g. Hybrid pointer networks We use another MemNN with three hops for the response generation, where ht of GRU serves as the initial reading head, as shown in Figure 1. h∗ t−1 は ht−1, Hc, Hg を連結して得られる。 ハイブリッドポインタネットワーク 我々は、応答生成に3つのホップを持つ別の MemNN を使用し、GRU の ht は、図 1 に示すように、初期読み込みヘッドとして機能する。 0.71
The output of MemNN is denoted as O = {o1, o2, o3} and attention weights are Po = {p1 MemNNの出力は O = {o1, o2, o3} と表され、注目重量は Po = {p1 0.92
o}. o, p3 o, p2 O}。 O, P3 O, P2 0.78
Other than a candidate softmax Pv used for generating a word from the vocabulary, we adopt the idea of Pointer Softmax in Gulcehre et al (2016), and introduce an Entity Pointer Networks (EPN) and a Pattern Pointer Networks (PPN), where EPN is trained to learn to copy entity words from dialogue history (or KB), and PPN is responsible for extracting pattern words from retrieved answers. 語彙から単語を生成するために使用される候補ソフトマックスpvの他に、gulcehre et al (2016)でポインタソフトマックスの概念を採用し、エンティティポインタネットワーク(epn)とパターンポインタネットワーク(ppn)を導入し、epnは対話履歴(あるいはkb)からエンティティワードをコピーするように訓練され、ppnは検索された回答からパターンワードを抽出する責任がある。 0.75
For EPN, we use a location softmax Ph, which EPNの場合、位置ソフトマックスPhを使用します。 0.79
is a pointer network where each of the output dimension corresponds to the location of a word in the context sequence. それぞれの出力次元がコンテキストシーケンス内の単語の位置に対応するポインタネットワークである。 0.64
Likewise, we introduce a location softmax Pr for PPN. 同様に、PPN の位置情報ソフトマックス Pr も導入する。 0.68
Pv is generated by concatenating the first hop attention read out and the current query vector, pvは、第1のホップ注意読み出しと現在のクエリベクトルとを連結して生成される。 0.69
Pv = softmax(Wv[o1; ht]) pv = softmax(wv[o1; ht]) 0.82
(7) For Pr and Ph, we take the attention weights at the second MemNN hop and the third hop of the decoder, respectively: Pr = p2 o. (7) Pr と Ph については、それぞれ第2のMemNNホップとデコーダの第3ホップの注意重みを Pr = p2 o とする。 0.78
The output dimensions of Ph and Pv vary according to the length of the corresponding target sequence. PhとPvの出力寸法は、対応するターゲットシーケンスの長さに応じて変化する。 0.78
o and Ph = p3 o と Ph = p3 0.98
With the three distributions, the key issue is how to decide which distribution should be chosen to generate a word wi for the current time step. 3つのディストリビューションでは、現在の時間ステップで単語wiを生成するために、どのディストリビューションを選択するべきかを決定する方法が鍵となる。
訳抜け防止モード: 3つのディストリビューションでは 鍵となる問題は 現時点のステップにおいて、どの分布を選択して単語wiを生成するかを決定する。
0.68
Intuitively, entity words are relatively important, so we set the selection priority order as Pr > Ph > Pv. 直感的には、実体語は比較的重要であり、選択優先順序を Pr > Ph > Pv とする。 0.74
Instead of using a gate function for selection (Gulcehre et al , 2016), we adopt the sentinel mechanism proposed in Madotto et al (2018). ゲート関数を選択に使用する代わりに(Gulcehre et al , 2016)、Madotto et al (2018)で提案されたセンチネル機構を採用する。 0.74
If the expected word is not appearing in the memories, then Ph and Pr are trained to produce a sentinel token4. 期待された単語が記憶に現れていない場合、PhとPrは、センチネルトークン4を生成するように訓練される。 0.69
When both Ph and Pr choose the sentinel token or the masked position, our model will generate the token from Pv. Ph と Pr の両方がセンチネルトークンかマスクされた位置を選択すると、我々のモデルはPv からトークンを生成する。 0.68
Otherwise, it takes the memory content using Pv or Pr. そうでなければ、PvやPrを使ってメモリの内容を取る。 0.63
4 Experimental Settings 4.1 Datasets We use four public multi-turn task-oriented dialog datasets to evaluate our model, including bAbI (Weston et al , 2015), In-Car Assistant (Eric and Manning, 2017) , DSTC2 (Henderson et al , 2014) and CamRest (Wen et al , 2016). 4 実験的設定 4.1 データセット 私たちは、bAbI (Weston et al , 2015)、In-Car Assistant (Eric and Manning, 2017)、DSTC2 (Henderson et al , 2014)、CamRest (Wen et al , 2016)を含む、4つの公開マルチターンタスク指向のダイアログデータセットを使用してモデルを評価する。 0.76
bAbI is automatically generated and the other three datasets are collected from real human dialogs. bAbIは自動的に生成され、残りの3つのデータセットは実際の人間のダイアログから収集される。 0.58
bAbI We use tasks 1-5 from bAbI dialog corpus for restaurant reservation to verify the effectiveness of our model. bAbI bAbIダイアログコーパスのタスク1-5をレストラン予約に使用し、モデルの有効性を検証する。 0.81
For each task, there are 1000 dialogs for training, 1000 for development, and 1000 for testing. 各タスクには、トレーニング用の1000のダイアログ、開発用の1000、テスト用の1000のダイアログがあります。
訳抜け防止モード: 各タスクには、トレーニング用の1000のダイアログ、開発用の1000のダイアログがあります。 テストに1000
0.76
Tasks 1-2 verify dialog management to check if the model can track the dialog state implicitly. タスク1-2 ダイアログ管理を検証することで、モデルがダイアログ状態を暗黙的に追跡できるかどうかをチェックする。
訳抜け防止モード: タスク1 - 2 ダイアログ管理の検証 モデルがダイアログ状態を暗黙的に追跡できるかどうかをチェックする。
0.66
Tasks 3-4 verify if the model can leverage the KB tuples for the task-oriented dialog system. Tasks 3-4は、タスク指向のダイアログシステムでKBタプルを利用できるかどうかを検証する。 0.58
Tasks 5 combines Tasks 1-4 to produce full dialogs. Tasks 5はTasks 1-4を組み合わせて完全なダイアログを生成する。 0.62
4We add a special symbol to the end of each sentence. 4文の最後に特別な記号を追加します。 0.64
For example, “good morning” is converted to “good morning $$$”. 例えば、”good morning” は “good morning $$” に変換される。 0.79
Therefore, if the model predicts the location of “$$$”, it means that the expected word is not appearing in the context sequence. したがって、モデルが “$$” の位置を予測した場合、期待される単語がコンテキストシーケンスに現れないことを意味する。 0.76
英語(論文から抽出)日本語訳スコア
In-Car Assistant This dataset consists of 3,031 multi-turn dialogs in three distinct domains: calendar sheduling, weather information retrieval, and point-of-interest navigation. In-Car Assistant このデータセットは、3つの異なるドメインの3,031のマルチターンダイアログで構成されている。 0.65
This dataset has an average of 2.6 conversation turns and the KB information is complicated. このデータセットは平均2.6の会話ターンを持ち、KB情報は複雑である。
訳抜け防止モード: このデータセットは平均2.6の会話ターンを持つ KB情報は複雑です
0.85
Following the data processing in Madotto et al (2018), we obtain 2,425/302/304 dialogs for training/validation/ testing respectively. madotto et al(2018)のデータ処理に続いて、トレーニング/検証/テスト用のダイアログがそれぞれ2,425/302/304である。 0.56
DSTC2 The dialogs were extracted from the Dialogue State Tracking Challenge 2 for restaurant reservation. DSTC2 レストラン予約のための対話状態追跡チャレンジ2からダイアログを抽出した。 0.81
Following Bordes et al (2017), we use merely the raw text of the dialogs and ignore the dialog state labels. bordes et al (2017)に続いて、ダイアログの生のテキストだけを使い、ダイアログの状態ラベルを無視します。 0.70
In total, there are 1618 dialogs for training, 500 dialogs for validation, and 1117 dialogs for testing. 合計でトレーニング用の1618のダイアログ、検証用の500のダイアログ、テスト用の1117のダイアログがある。 0.76
Each dialog is composed of user and system utterances, and API calls to the domain-specific KB for the user’s queries. 各ダイアログは、ユーザとシステムの発話と、ユーザのクエリに対するドメイン固有のKBへのAPI呼び出しで構成されている。 0.77
CamRest This dataset consists of 676 human-tohuman dialogs in the restaurant reservation domain. CamRest このデータセットはレストラン予約ドメイン内の676人の人間対人間ダイアログで構成されている。 0.60
This dataset has much more conversation turns with 5.1 turns on average. このデータセットは平均5.1ターンで会話がずっと多い。 0.78
Following the data processing in Wen et al (2017), we divide the dataset into training/validation/ testing sets with 406/135/135 dialogs respectively. wen et al (2017)のデータ処理に従い、データセットを406/135/135ダイアログのトレーニング/検証/テストセットに分割する。 0.70
Implementation Detail 4.2 We use the 300-dimensional word2vec vectors to initialize the word embeddings. 実装の詳細 4.2 単語埋め込みの初期化には300次元の word2vec ベクトルを用いる。 0.72
The size of the GRU hidden units is set to 256. GRU隠蔽ユニットのサイズは256に設定されている。 0.86
The recurrent weight parameters are initialized as orthogonal matrices. 繰り返し重みパラメータは直交行列として初期化される。 0.63
We initialize the other weight parameters with the normal distribution N (0, 0.01) and set the bias terms as zero. その他の重みパラメータを正規分布 N (0, 0.01) で初期化し、バイアス項を0とする。 0.84
We train our model with Adam optimizer (Kingma and Ba, 2015) with an initial learning rate of 1e − 4. 我々はAdam Optimizationr (Kingma and Ba, 2015) を用いて、最初の学習率 1e − 4 でモデルをトレーニングする。 0.88
By tuning the hyperparameters with the grid search over the validation sets, we find the other best settings in our model as follows. 検証セット上でハイパーパラメータとグリッド検索をチューニングすることで、以下のモデルで他の最適な設定を見つけることができます。 0.78
The number of hops for the memory network is set to 3, and gradients are clipped with a threshold of 10 to avoid explosion. メモリネットワークのホップ数を3に設定し、爆発を避けるために10の閾値で勾配をクリップする。
訳抜け防止モード: メモリネットワークのホップ数は3に設定されている。 爆発を避けるために、勾配を10の閾値で切り取っています。
0.72
In addition, we apply the dropout (Hinton et al , 2012) as a regularizer to the input and output of GRU, where the dropout rate is set to be 0.4. また、GRUの入出力に対して、ドロップアウト率(Hinton et al , 2012)を正則化器として適用し、ドロップアウト率を0.4とする。 0.65
4.3 Baseline Models We compare our model with several existing endto-end task-oriented dialogue systems5: 4.3 ベースラインモデル モデルと既存のタスク指向対話システムを比較します。 0.73
5Part of experimental results of baseline models are di- 5part of experimental results of baseline models are di- 0.95
rectly extracted from corresponding published papers. 対応する論文から正確に抽出する。 0.60
• Retrieval method: This approach directly uses the retrieved result as the answer of the given utterance. •検索方法: 与えられた発話の回答として検索した結果を直接使用する手法。 0.75
Specifically, we use BERTBase as a feature extractor for the sentences, and we use the cosine distance of the features as our retrieve scores, and then select the one with the highest score. 具体的には、文の特徴抽出器としてBERTBaseを使用し、その特徴の余弦距離を検索スコアとして使用し、最も高いスコアを持つものを選択する。 0.68
• Attn: Vanilla sequence-to-sequence model •Attn:VanillaSequence -to-Sequenceモデル 0.78
with attention (Luong et al , 2015). 注意を払って (Luong et al , 2015)。 0.82
• MemNN: An extended Seq2Seq model where the recurrence read from a external memory multiple times before outputting the target word (Sukhbaatar et al , 2015). • memnn: ターゲットワードを出力する前に、再帰が外部メモリから何度も読み込まれる拡張されたseq2seqモデル(sukhbaatar et al , 2015)。 0.80
• PtrUnk: An augmented sequence-tosequence model with attention based copy mechanism to copy unknown words during generation (Gulcehre et al , 2016). •ptrunk: a augmented sequence-tosequence model with attention based copy mechanism to copy unknown words during generation (gulcehre et al , 2016)。 0.77
• CASeq2Seq: This is a copy-augmented Seq2Seq model that learns attention weights to dialogue history with copy mechanism (Eric and Manning, 2017). • caseq2seq: これはコピー型seq2seqモデルで、コピー機構(eric and manning, 2017)で対話履歴に対する注意重みを学習します。 0.73
• Mem2Seq: A memory network based approach with multi-hop attention for attending over dialogue history and KB tuples (Madotto et al , 2018). • mem2seq: 対話履歴とkbタプル(madotto et al , 2018)によるマルチホップ対応のメモリネットワークベースのアプローチ。 0.76
• BossNet: A bag-of-sequences memory architecture is proposed for disentangling language model from KB incorporation in task-oriented dialogues (Raghu et al , 2019). • BossNet:タスク指向対話におけるKBインクルージョンから言語モデルを切り離すために,シーケンスの袋型メモリアーキテクチャを提案する(Raghu et al , 2019)。 0.78
• WMM2Seq: This method adopts a working memory to interact with two separated memory networks for dialogue history and KB entities (Chen et al , 2019). • WMM2Seq: 対話履歴とKBエンティティを分離した2つのメモリネットワークと対話するために、ワーキングメモリを採用する(Chen et al , 2019)。 0.81
• GLMP: This is an augmented memory based model with a global memory pointer and a local memory pointer to strengthen the model’s copy ability (Wu et al , 2019). ·GLMP: これは、グローバルメモリポインタとローカルメモリポインタを備えた拡張メモリベースモデルで、モデルのコピー能力を強化する(Wu et al , 2019)。 0.73
4.4 Automatic Evaluation Metrics In bAbI dataset, we adopt a common metric perresponse accuracy (Bordes et al , 2017) to evaluate the model performance. 4.4 自動評価指標 bAbI データセットでは、モデルの性能を評価するために、一般的なメトリックパーレスポンス精度 (Bordes et al , 2017) を採用する。 0.76
Following previous works (Madotto et al , 2018), for three real human dialog datasets, we employ bilingual evaluation understudy (BLEU) (Papineni et al , 2002) and Entity F1 scores to evaluate the model’s ability to generate relevant entities from knowledge base and to 過去の研究(Madotto et al , 2018)に続いて、3つの実際の人間の対話データセットに対して、知識ベースから関連するエンティティを生成するモデルの能力を評価するために、バイリンガル評価アンダーストディ(BLEU)とエンティティF1スコア(Papineni et al , 2002)を用いる。 0.82
英語(論文から抽出)日本語訳スコア
capture the semantics of the user-initiated dialogue flow (Eric and Manning, 2017). ユーザ主導の対話フローの意味をキャプチャする(Eric and Manning, 2017)。 0.68
BLEU We use BLEU to measure the n-gram (i.e., 4-gram) matching between the generated responses and the reference responses. BLEU 我々は、生成した応答と参照応答の間のn-gram(すなわち4-gram)のマッチングを測定するためにBLEUを使用する。 0.66
The higher BLEU score indicates a better performance of the conversation system. より高いBLEUスコアは、会話システムのより良いパフォーマンスを示す。 0.64
Formally, we compute the 4-gram precision for the generated response Y as: 形式的には、生成された応答Yの4-gram精度を次のように計算する。 0.55
P (Y, ˆY ) = P (Y, sY ) = 0.83
˜Y min(η( ˜Y , Y ), η( ˜Y , ˆY )) η (複数形 ηs または ηs または ηs または ηs) 0.44
(8) (cid:80) (8) (cid:80) 0.82
(cid:80) ˜Y η( ˜Y , Y ) (cid:80) ~Yη(~Y,Y) 0.71
4(cid:88) where ˜Y traverses all candidate 4-grams, Y and ˆY are the ground-truth and predicted responses, η( ˜Y , Y ) indicates the number of 4-grams in Y . 4(cid:88) 例えば、Y と Y がすべての候補の 4-グラムを横切るとき、Y は基底と予測された反応であり、η( は Y の 4-グラムの数を表す。 0.75
After achieving the precision, the BLEU score is then calculated as: 精度を達成した後、BLEUスコアを次のように算出する。 0.59
BLEU = ν(Y, ˆY ) exp( BLEU = ν(Y, sY ) exp( 0.84
βn log P (Y, ˆY )) βn log P (Y, sY ) 0.79
n=1 (9) where βn = 1/4 is a weight score. n=1 (9) βn = 1/4 がウェイトスコアである。 0.69
ν(Y, ˆY ) is a brevity penalty that penalizes short sentences. ν(Y、Y、Y) は短い文をペナルティ化する簡潔な刑罰である。 0.66
The higher BLEU score indicates better performance of the conversation system. より高いBLEUスコアは、会話システムのより良いパフォーマンスを示す。 0.64
Per-response Accuracy We adopt the perresponse accuracy metric to evaluate the dialog system’s capability of generating an exact, correct responses. 応答の正確さ 応答の正確さ 応答の正確さを計測し、対話システムの正確な応答を生成する能力を評価する。
訳抜け防止モード: Per - Response 精度 私たちはper-response 精度メトリックを採用する 正確な正しい応答を生成するダイアログシステムを評価する。
0.88
A generated response is considered right only if each word of the system output matches the corresponding word in the gold response. 生成された応答は、システム出力の各単語がゴールド応答の対応する単語と一致する場合にのみ正しいとみなす。 0.80
The final per-response accuracy score is calculated as the percentage of responses that are exactly the same as the corresponding gold dialogues. 応答毎の最終的な精度スコアは、対応するゴールドダイアログと全く同じ応答の割合として算出される。 0.75
Per-response accuracy is a strict evaluation measure, which may only be suitable for the simulated dialog datasets. 応答毎の精度は厳密な評価尺度であり、シミュレーションされたダイアログデータセットにのみ適している。 0.73
Entity F1 Entity F1 metric is used measure the system’s capability of generating relevant entities from the provided task-oriented knowledge base. Entity F1 Entity F1メトリックは、提供されたタスク指向の知識ベースから関連するエンティティを生成するシステムの能力を測定するために使用される。 0.71
Each utterance in the test set has a set of gold entities. テストセット内の各発話は、ゴールドエンティティのセットを持っている。 0.68
An entity F1 is computed by micro-averaging over all the generated responses. エンティティF1は、生成されたすべての応答をマイクロアベラグすることで計算される。 0.54
5 Experimental Results 5.1 Automatic Evaluation on Four Datasets bAbI The dataset is automatically generated based on some rules, thus many requests and their corresponding replies are quite similar in terms of the syntactic structure and the wording usage. 5 実験結果 5.1 4 つのデータセットに対する自動評価 bAbI データセットは,いくつかのルールに基づいて自動的に生成されるため,構文構造と単語使用量の観点からは,多くの要求と対応する応答がかなり似ている。 0.72
According to the results shown in Table 5, we can 表5に示されている結果によると、 0.67
r Method h & R+ R+ h & R− R+ − h & R+ R − h & R− R r 方法 h & R+ R+ h & R− R+ − h & R+ R − h & R− R 0.87
r r r BLEU Ent.F1 Sch.F1 Wea.F1 Nav.F1 12.8 27.5 26.7 12.5 26.1 12.3 11.6 26.5 r r r BLEU Ent.F1 Sch.F1 Wea.F1 Nav.F1 12.8 27.5 26.7 12.5 26.1 12.3 11.6 26.5 0.74
37.8 36.1 36.8 34.8 37.8 36.1 36.8 34.8 0.45
50.0 49 49.8 48.3 50.0 49 49.8 48.3 0.53
37.9 34.6 36.6 31.8 37.9 34.6 36.6 31.8 0.45
Table 2: Masking comparison experiment on In-Car Assistant. 表2:車内アシスタントにおけるマスキング比較実験 0.77
+ means with masking and − denotes without. + はマスキングで、- はなしを表す。 0.69
R+ h & R+ r means that we simultaneously mask NEW and EW in the history dialogue and retrieved answers. R+h & R+ rは、歴史対話においてNEWとEWを同時にマスキングし、回答を検索することを意味する。
訳抜け防止モード: R+ h & R+ r はつまり 履歴対話においてNEWとEWを同時にマスクし,回答を検索する。
0.74
θ 0.3 0.4 0.5 0.6 1.0 θ 0.3 0.4 0.5 0.6 1.0 0.48
# of RA BLEU 56.1 56.2 59.8 56.6 56.5 RA BLEU 56.1 56.2 59.8 56.6 56.5 0.62
2.48 2.16 1.90 1.75 1.00 2.48 2.16 1.90 1.75 1.00 0.44
Table 3: Experimental results in terms of BLEU on DSTC2 by using different θ. 表3: 異なるθを用いてDSTC2上のBLEUの実験結果。 0.68
# of RA denotes the average number of retrieved answers. RA の # は、検索された回答の平均数を表す。 0.64
see that our model achieves the best per-response scores in all the five tasks. 私たちのモデルは5つのタスクすべてにおいて、レスポンス毎の最高のスコアを達成します。 0.51
It is also believed that the retrieved results can contribute to guiding the response generation in this case, which can be inferred from the high threshold value (θ = 0.8). また, 得られた結果は, 高しきい値(θ = 0.8)から推定できる応答生成の導出に寄与すると考えられる。 0.65
In-Car Assistant Dataset As shown in Table 6, our model achieves all best metrics (BLEU, Ent.F1, Sch.F1, Wea.F1 and Nav.F1) over other reported models. インカーアシスタントデータセット 表6に示すように、我々のモデルは、他の報告されたモデルよりもすべての最高の指標(BLEU、Ent.F1、Sch.F1、Wea.F1、Nav.F1)を達成する。 0.59
The possible reason is that the retrieved answers with high relevance to the gold answers provide valid sentence pattern information. 可能な理由は、検索された回答が金の回答と高い関連性を持ち、有効な文パターン情報を提供するからである。
訳抜け防止モード: 考えられる理由は 金の回答と関連性の高い 検索された答えは 有効な文パターン情報を提供する
0.73
By using this sentence pattern information, our model can better control the generation of responses. この文パターン情報を利用することで、モデルが応答の生成をよりよく制御できる。 0.78
Additionally, our model improves the success rate of generation correct entities which appeared in the dialogue history. さらに,対話履歴に現れる正しい実体の生成の成功率も向上する。 0.54
Dataset Task1 Task2 Task3 Task4 Task5 DSTC2 Dataset Task1 Task2 Task3 Task4 Task5 DSTC2 0.67
CAMREST KVR CAMREST KVR 0.85
BM25 word2vec BERT 74.8 68.7 93.7 80.6 80.3 83.4 87.5 87.5 83.8 82.9 47.1 45.3 30.9 27.7 33.5 35.3 BM25 word2vec BERT 74.8 68.7 93.7 80.6 80.3 83.4 87.5 87.5 83.8 82.9 47.1 45.3 30.9 27.7 33.5 35.3 0.43
63.1 83.2 77.3 87.5 66.6 37.3 29.0 33.7 63.1 83.2 77.3 87.5 66.6 37.3 29.0 33.7 0.42
Table 4: Comparison of different matching methods. 表4: 異なるマッチングメソッドの比較。 0.74
英語(論文から抽出)日本語訳スコア
Task Task1 Task2 Task3 Task4 Task5 Task1 Task2 Task3 Task4 Task5 0.75
Retrieval Attn MemNN PtrUnk Mem2Seq BossNet GLMP WMM2Seq THPN 100 100 95.8 100 99.6 Retrieval Attn MemNN PtrUnk Mem2Seq BossNet GLMP WMM2Seq THPN 100 95.8 100 99.6 0.79
74.8 93.7 80.3 87.5 83.8 74.8 93.7 80.3 87.5 83.8 0.44
100 100 74.8 57.2 98.4 100 100 74.8 57.2 98.4 0.59
99.9 100 74.9 59.5 96.1 99.9 100 74.9 59.5 96.1 0.50
100 100 85.1 100 99.4 100 100 85.1 100 99.4 0.71
100 100 94.5 100 98.2 100 100 94.5 100 98.2 0.71
100 100 95.2 100 97.3 100 100 95.2 100 97.3 0.71
100 100 96.3 100 99.2 100 100 96.3 100 99.2 0.71
100 100 94.9 100 97.9 100 100 94.9 100 97.9 0.71
Table 5: Per-response scores on the five tasks of the bAbI dataset with θ = 0.8. 表5: θ = 0.8 の babi データセットの5つのタスクに対する応答スコア。 0.73
Method Retrieval Attn CASeq2Seq 方法検索 attn CASeq2Seq 0.61
MemNN PtrUnk MemNN PtrUnk 0.85
Mem2Seq BossNet THPN Mem2Seq BossNet THPN 0.78
BLEU Ent.F1 Sch.F1 Wea.F1 Nav.F1 15.3 9.3 8.7 8.3 8.3 12.6 8.3 12.8 BLEU Ent.F1 Sch.F1 Wea.F1 Nav.F1 15.3 9.3 8.7 8.3 12.3 12.6 8.3 12.8 0.39
9.4 10.8 11.0 14.9 14.9 20.0 21.6 27.5 9.4 10.8 11.0 14.9 14.9 20.0 21.6 27.5 0.42
20.1 19.9 13.3 22.7 22.7 33.4 35.9 37.8 20.1 19.9 13.3 22.7 22.7 33.4 35.9 37.8 0.42
24.9 23.4 13.4 26.9 26.9 49.3 50.2 50.0 24.9 23.4 13.4 26.9 26.9 49.3 50.2 50.0 0.42
26.3 25.6 15.6 26.7 26.7 32.8 34.5 37.9 26.3 25.6 15.6 26.7 26.7 32.8 34.5 37.9 0.42
Table 6: Evaluation results on the In-Car Assistant dataset with θ = 0.3. 表6: θ = 0.3 の車内アシスタントデータセットの評価結果。 0.79
DSTC2 and CamRest Datasets We also present the evaluation on DSTC2 and CamRest datasets in Table 8 and Table 9, respectively. dstc2とcamrestデータセットは、それぞれテーブル8とテーブル9にあるdstc2とcamrestデータセットの評価を示す。 0.65
By comparing the results, we can notice that our model performs better than the compared methods. 結果を比較することで,本モデルが比較手法よりも優れていることが分かる。 0.82
On the DSTC2, our model achieves the state-of-the-art performance in terms of both Entity F1 score and BLEU metrics, and has a comparable per-response accuracy with compared methods. DSTC2では,エンティティF1スコアとBLEUスコアの両方で最先端性能を実現し,比較手法と同等の応答精度を有する。 0.54
On the CamRest, our model obtains the best Entity F1 score but has a drop in BLEU in comparison to Mem2Seq model. CamRestでは、私たちのモデルは最高のEntity F1スコアを得るが、Mem2Seqモデルと比較してBLEUは低下する。 0.68
5.2 Ablation Study An ablation study typically refers to removing some components or parts of the model, and seeing how that affects performance. 5.2 アブレーション研究 アブレーション研究は一般的に、モデルの一部または部分の除去と、それがパフォーマンスにどのように影響するかを見ることを指す。
訳抜け防止モード: 5.2 アブレーション研究 アブレーション研究は通常、モデルの一部の構成要素または部分を削除することを指す。 パフォーマンスにどう影響するか
0.79
To measure the influence of the individual components, we evaluate the proposed THPN model with each of them removed separately, and then measure the degradation of the overall performance. 個々の構成要素の影響を測定するために,提案するthpnモデルについて,それぞれを分離して評価し,全体の性能の劣化を計測した。 0.85
Table 7 reports ablation study results of THPN on bAbI and DSTC2 datasets by removing retrieved answers (w/o IR), removing EPN and PPN in decoding (w/o Ptr), removing answer-guided gating mechanism (w/o Gate), respectively. 表7は、bAbIおよびDSTC2データセット上のTHPNのアブレーション研究結果を、取得した回答(w/o IR)を除去し、デコード(w/o Ptr)においてEPNとPPNを除去し、それぞれ回答誘導ゲーティング機構(w/o Gate)を除去することで報告する。
訳抜け防止モード: 表7は、bAbIおよびDSTC2データセットに対するTHPNのアブレーション研究結果について報告している(w/o IR)。 decoding (w/o Ptr ), remove answer - guided gating mechanism (w/o Gate ), respectively.
0.88
For example, “w/o Gate” means we do not use the answer-guided gating mechanism while keeping other components intact. 例えば “w/o Gate” は,他のコンポーネントをそのままに保ちながら,回答誘導型ゲーティング機構を使用しない,という意味です。
訳抜け防止モード: 例えば「w/oゲート」とは 他のコンポーネントをそのままに保ちながら、gatingメカニズムは使用しません。
0.74
If the retrieved answer is not used, the performance reduces dramatically, which can be interpreted that without the guiding information from 検索された回答が使用されない場合、パフォーマンスは劇的に低下し、ガイド情報がないと解釈できる。 0.68
the retrieved answer, the decoder may deteriorate quickly once it produce a “bad” word since it solely relies on the input query. 検索された答えは、デコーダが入力クエリのみに依存するため、"悪い"単語を生成するとすぐに劣化する可能性がある。 0.66
If no copy mechanism is used, we can see that Entity F1 score is the lowest, which indicates that many entities are not generated since these entity words may not be included in the vocabulary. コピー機構が使用されていない場合、Entity F1スコアが最も低く、これらのエンティティワードが語彙に含まれないため、多くのエンティティが生成されないことを示す。 0.72
Therefore, the best way to generate some unseen words is to directly copy from the input query, which is consistent with the findings of previous work (Eric et al , 2017; Madotto et al , 2018). したがって、いくつかの見知らぬ単語を生成する最善の方法は、入力クエリから直接コピーすることであり、これは以前の研究の結果と一致する(Eric et al , 2017; Madotto et al , 2018)。 0.79
If the gate is excluded, we can see around 2% drop for DSTC2. ゲートが除外された場合、DSTC2の約2%の減少が見られる。 0.70
A possible reason is that some useless retrieved answers introduce “noise” to the system, which deteriorates the response generation. 理由として考えられるのは,無用な検索回答がシステムに“ノイズ”をもたらし,応答生成が低下する点だ。 0.72
5.3 Effect of Masking Operation To validate the effectiveness of the masking operation, we carry out a comparison experiment on In-Car Assistant, and present the results in Table 2. 5.3 マスキング操作の有効性を検証するためのマスキング操作の効果について,車内アシスタントの比較実験を行い,その結果を表2に示す。 0.89
From Table 2, we can see that R+ r achieves the best performance while R− r has the lowest scores. 表2から、R+ r が最高のパフォーマンスを達成するのに対し、R− r は最低スコアであることがわかる。 0.72
By diving into the experimental results, we find that if we do not mask EW in the retrieved answers, the model copies many incorrect entities from the retrieved answers, which reduces the Entity F1 scores. 実験結果に飛び込んで, 得られた回答のEWをマスクしない場合, モデルが抽出した回答から多くの誤ったエンティティをコピーし, エンティティF1のスコアを小さくする。 0.73
If we do not mask NEW in the history dialogue, the percentage of NEW copied from the history dialogue is high, most of which are unrelated to the gold answer, thus bringing down the BLEU score. 歴史対話において、NEWをマスクしない場合、歴史対話からコピーしたNEWの割合は高く、金の回答とは無関係であり、BLEUスコアが低下する。 0.55
h & R− h & R+ h&R− h & R+ 0.90
5.4 Analysis on Retrieved Results Comparison of Different Retrieval Methods According to our preliminary experimental results, we observed that better retrieved candidate answers could further improve the overall model performance in response generation. 5.4 検索手法の検索結果の比較分析 予備実験の結果, 検索候補の精度が向上し, 応答生成におけるモデル全体の性能が向上することが確認された。 0.77
Therefore, we also conduct experiments to evaluate the effectiveness of three popular text matching methods, including BM25 (Robertson et al , 2009), word2vec (Mikolov et al , 2013a) and BERT (Devlin et al , 2018). そこで本研究では,BM25 (Robertson et al , 2009), word2vec (Mikolov et al , 2013a), BERT (Devlin et al , 2018) の3つのテキストマッチング手法の有効性を評価する実験を行った。 0.87
英語(論文から抽出)日本語訳スコア
Task THPN W/O IR W/O Ptr W/O Gate 課題 THPN W/O IR W/O Ptr W/O ゲート 0.59
100 100 100 100 100 100 100 100 0.85
100 100 100 100 100 100 100 100 0.85
98.9 96.5 97.7 95.9 98.9 96.5 97.7 95.9 0.45
100 100 89.9 94.4 100 100 89.9 94.4 0.65
99.9 99.2 98.5 99.2 99.9 99.2 98.5 99.2 0.45
59.8 57.8 58.1 57.7 59.8 57.8 58.1 57.7 0.45
Task1 (BLEU) task1 (複数形 task1s) 0.47
Task2 (BLEU) task2 (複数形 task2s) 0.47
Task3 (BLEU) task3 (複数形 task3s) 0.47
Task4 (BLEU) task4 (複数形 task4s) 0.48
Task5 (BLEU) task5 (複数形 task5s) 0.47
DSTC2 DSTC2 DSTC2 (BLEU) (Per-Res) DSTC2 DSTC2 DSTC2 (BLEU) (Per-Res) 0.78
(F1) 76.8 73.2 72.6 74.1 (F1)76.873.272.674.1 0.54
47.7 45.9 46.1 45.8 47.7 45.9 46.1 45.8 0.45
Table 7: Ablation test results of our THPN model on bAbI and DSTC2 datasets. 表7:babiおよびdstc2データセットにおけるthpnモデルのアブレーション試験結果 0.78
Method Retrieval Attn KV Net Mem2Seq 方法検索 attn KV Net Mem2Seq 0.68
GLMP THPN Ent.F1 BLEU 47.1 21.1 56.6 67.1 71.6 55.4 55.3 75.3 58.1 67.4 76.8 59.8 GLMP THPN Ent.F1 BLEU 47.1 21.1 56.6 67.1 71.6 55.4 55.3 75.3 58.1 67.4 76.8 59.8 0.64
Table 8: Evaluation on DSTC2(θ = 0.5). 表8:DSTC2(θ = 0.5)の評価。 0.79
Method Retrieval Attn PtrUnk KV Net Mem2Seq 方法検索 Attn PtrUnk KV Net Mem2Seq 0.73
THPN Ent.F1 BLEU 21.2 5.9 2.1 4.3 12.6 12.9 THPN Ent.F1 BLEU 21.2 5.9 4.1 12.6 12.9 0.67
7.9 21.4 16.4 9.1 27.7 30.9 7.9 21.4 16.4 9.1 27.7 30.9 0.43
Table 9: Evaluation on CamRest(θ = 0.4). 表9: CamRest(θ = 0.4)の評価。 0.84
Here, BLEU is utilized as our evaluation criterion. ここではbleuを評価基準として活用する。 0.53
From the experimental results shown in Table 4, we can see that using BERT (Devlin et al , 2018), a transformer-based pre-trained language model, achieves the highest BLEU scores. 表4に示す実験結果から,変換器をベースとした事前学習型言語モデルであるBERT (Devlin et al , 2018) が最も高いBLEUスコアを達成していることがわかる。 0.74
A possible reason is that the size of each training dataset is limited, the word co-occurrence based algorithms (e g , BM25) may not capture the semantic information, thus result in poor retrieving performance. 考えられる理由は、各トレーニングデータセットのサイズが限られているため、単語共起ベースのアルゴリズム(例えば、bm25)が意味情報をキャプチャできないため、検索性能が低下するからだ。 0.74
One vs. Multiple Retrieved Answers Cosine similarity is not an absolute criterion and there is no guarantee that a candidate with higher cosine value will always provide more reference information to the response generation. 1対1。 複数の検索されたAnswers Cosine類似性は絶対的な基準ではなく、高いコサイン値の候補が応答生成に対して常により多くの参照情報を提供するという保証はない。 0.64
Therefore, we conduct an experiment to investigate the effect of the number of retrieved answers. そこで我々は,検索した回答数の影響を調べる実験を行った。 0.74
By setting different cosine threshold values θ, we retrieve different numbers of answer candidates. 異なるコサインしきい値 θ を設定することで、異なる数の回答候補を検索する。 0.69
In particular, if no answer candidate satisfies the given threshold, we choose one with the highest cosine value. 特に、回答候補が与えられた閾値を満たさない場合は、コサイン値が最も高いものを選択する。 0.74
To limit the number of retrieved answers, we only select the top-3 results if there are more than three answer 検索した回答の数を制限するために,3つ以上の回答がある場合にのみトップ3の結果を選択する。 0.71
candidates that have higher consine values than the given threshold θ. 与えられた閾値 θ よりも高いconsine値を持つ候補。 0.72
Table 3 gives the experimental results of DSTC2 dataset under different threshold θ values. 表3は、異なる閾値θ値のdstc2データセットの実験結果を示す。 0.79
When θ is set to be 1.0, it is considered as a special case where only one answer is retrieved. θ を 1.0 とすると、1つの答えだけを取り出す特別な場合と見なされる。 0.71
We can observe that using multiple answer candidates obtains higher performance than only using one result. 複数の解答候補を用いると、1つの結果のみを使用するよりも高い性能が得られることが観察できる。 0.63
It is intuitive that the model will be misguided if the retrieved single answer has no relation to the given request, and using multiple candidate answers can ameliorate this issue. 検索した単一回答が与えられた要求と無関係であれば、モデルが誤案内されることは直感的であり、複数の候補回答を使用することでこの問題を改善することができる。
訳抜け防止モード: モデルが誤認されるのは直感的です。 回収された1つの答えは 与えられた要求とは無関係です 複数の候補の答えを使って この問題を改善できます
0.64
Setting of θ Although using more retrieved answers might improve the chance of including the relevant information, it may also bring more “noise” and adversely affect the quality of retrieved answers. θ の設定は、より多くの検索された回答を使用することで、関連する情報を含める可能性が向上するが、さらに "ノイズ" をもたらし、検索された回答の品質に悪影響を及ぼす可能性がある。 0.54
From Table 3, we can see that with the reduced value of θ, the average number of retrieved candidate answers increase, but the model performance does not improve accordingly. 表3から、θの値が小さくなると、検索候補の平均答え数が増加するが、モデルの性能は改善されないことが分かる。 0.72
Experimental results on the other datasets demonstrate that the θ is not fixed and needs to be adjusted according to the experimental data. 他のデータセットの実験結果は、θは固定されておらず、実験データに従って調整する必要があることを示している。
訳抜け防止モード: 他のデータセットの実験結果からは θは固定されておらず、実験データに従って調整する必要がある。
0.88
6 Conclusion In task-oriented dialog systems, the words and sentence structures are relatively limited and fixed, thus it is intuitive that the retrieved results can provide valuable information in guiding the response generation. 6 結論 タスク指向ダイアログシステムでは,単語と文構造は比較的限定的かつ固定的であるため,検索した結果が応答生成を導く上で貴重な情報を提供できることは直感的である。 0.71
In this paper, we retrieve several potentially relevant answers from a pre-constructed domain-specific conversation repository as guidance answers, and incorporate the guidance answers into both the encoding and decoding processes. 本稿では,事前構築されたドメイン固有会話レポジトリから関連性のあるいくつかの回答をガイダンス回答として検索し,そのガイダンス回答を符号化処理と復号処理の両方に組み込む。 0.72
We copy the words from the previous context and the retrieved answers directly, and generate words from the vocabulary. 我々は,過去の文脈からの単語と検索した回答を直接コピーし,語彙から単語を生成する。 0.77
Experimental results over four datasets have demonstrated the effectiveness of our model in generating informative responses. 4つのデータセットを用いた実験により,提案モデルの有効性が実証された。 0.67
In the future, we plan to leverage the dialogue context information to retrieve candidate answers turn by turn in multi-turn scenarios. 将来的には,対話コンテキスト情報を活用して,多ターンシナリオにおける候補回答をターンバイターンで検索する計画である。 0.66
英語(論文から抽出)日本語訳スコア
References Antoine Bordes, Y-Lan Boureau, and Jason Weston. 英語表記はAntoine Bordes、Y-Lan Boureau、Jason Weston。 0.68
2017. Learning End-to-end Goal-oriented Dialog. 2017. エンドツーエンドのゴール指向ダイアログの学習 0.71
International Conference on Learning Representations. International Conference on Learning Representations(英語) 0.80
Ziqiang Cao, Wenjie Li, Sujian Li, and Furu Wei. Ziqiang Cao, Wenjie Li, Sujian Li, Furu Wei 0.62
2018. Retrieve, Rerank and Rewrite: Soft Template Based Neural Summarization. 2018. Retrieve, Rerank and Rewrite: Soft Template based Neural Summarization 0.78
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), volume 1, pages 152–161. 第56回計算言語学会年次大会(Volume 1: Long Papers, Volume 1, page 152–161)に参加して 0.70
Qian Chen, Xiaodan Zhu, Zhen-Hua Ling, Diana Inkpen, and Si Wei. Qian Chen、Xiaodan Zhu、Zhen-Hua Ling、Diana Inkpen、Si Wei。 0.74
2017. Neural natural language inference models enhanced with external knowledge. 2017. 外部知識で強化されたニューラル自然言語推論モデル 0.84
arXiv preprint arXiv:1711.04289. arXiv preprint arXiv:1711.04289 0.71
Xiuyi Chen, Jiaming Xu, and Bo Xu. Xiuyi Chen, Jiaming Xu, Bo Xu。 0.69
2019. A working memory model for task-oriented dialog response generation. 2019. タスク指向対話応答生成のためのワーキングメモリモデル 0.79
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2687–2693. 第57回計算言語学会年次大会紀要2687-2693頁。
訳抜け防止モード: 第57回計算言語学会年次大会を終えて 2687-2693頁。
0.49
Junyoung Chung, Caglar Gulcehre, KyungHyun Cho, and Yoshua Bengio. Junyoung Chung, Caglar Gulcehre,kyungHyun Cho, Yoshua Bengio 0.62
2014. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. 2014. シーケンスモデリングにおけるゲートリカレントニューラルネットワークの実験的評価 0.79
arXiv preprint arXiv:1412.3555. arXiv preprint arXiv:1412.3555 0.72
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova 0.76
2018. Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2018. Bert: 言語理解のための双方向変換器の事前トレーニング。 0.79
North American Chapter of the Association for Computational Linguistics. 北米計算言語学会 (the association for computational linguistics) の略称。 0.56
Xiao Ding, Kuo Liao, Ting Liu, Zhongyang Li, and Junwen Duan. Xiao Ding, Kuo Liao, Ting Liu, Zhongyang Li, Junwen Duan 0.64
2019. Event representation learning enhanced with external commonsense knowledge. 2019. 外部コモンセンス知識によるイベント表現学習 0.75
arXiv preprint arXiv:1909.05190. arXiv preprint arXiv:1909.05190 0.71
Mihail Eric, Lakshmi Krishnan, Francois Charette, and Christopher D Manning. Mihail Eric、Lakshmi Krishnan、Francois Charette、Christopher D Manning。 0.73
2017. Key-value retrieval networks for task-oriented dialogue. 2017. タスク指向対話のためのキー値検索ネットワーク 0.76
In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pages 37–49. 第18回SIGdial Meeting on Discourse and Dialogue』37-49頁。 0.58
Mihail Eric and Christopher D Manning. ミハイル・エリックと クリストファー・d・マニング 0.43
2017. A Copy-augmented Sequence-to-sequence Architecture Gives Good Performance on Task-oriented Dialogue. 2017. Copy-augmented Sequence-to-Sequence Architectureはタスク指向対話における優れたパフォーマンスを提供する。 0.68
European Association of Computational Linguistics, page 468. European Association of Computational Linguistics, 468頁。 0.77
Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel Galley. Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang, Bill Dolan, Jianfeng Gao, Wen-tau Yih, Michel Galley 0.86
2018. A Knowledge-grounded NeuIn Thirty-Second AAAI ral Conversation Model. 2018. 知識接地型NeuIn三次AAAIラル会話モデル 0.77
Conference on Artificial Intelligence. 人工知能に関する会議。 0.72
Caglar Gulcehre, Sungjin Ahn, Ramesh Nallapati, Bowen Zhou, and Yoshua Bengio. Caglar Gulcehre, Sungjin Ahn, Ramesh Nallapati, Bowen Zhou, Yoshua Bengio 0.65
2016. Pointing the unknown words. 2016. 未知の言葉を指さす。 0.85
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), volume 1, pages 140–149. 第54回計算言語学会年次大会(第1巻:長い論文)の議事録第1巻140-149頁。 0.54
Tianxing He, Jingzhao Zhang, Zhiming Zhou, and James Glass. Tianxing He、Jingzhao Zhang、Zhiming Zhou、James Glass。 0.68
2019. Quantifying exposure bias arXiv preprint for neural arXiv:1905.10617. 2019. 神経arxiv:1905.10617の露出バイアスarxivプレプリントの定量化 0.63
language generation. Matthew Henderson, Blaise Thomson, and Jason D Williams. 言語生成。 マシュー・ヘンダーソン、ブレイズ・トムソン、ジェイソン・d・ウィリアムズ。 0.70
2014. The Second Dialog State Tracking Challenge. 2014. The Second Dialog State Tracking Challenge (英語) 0.82
In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pages 263–272. 第15回「談話と対話に関する特別研究会」紀行263-272頁 0.51
Geoffrey E Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, and Ruslan R Salakhutdinov. Geoffrey E Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, Ruslan R Salakhutdinov 0.70
2012. Improving Neural Networks by Preventing CoarXiv preprint adaptation of Feature Detectors. 2012. 特徴検出器のCoarXivプリプリント適応防止によるニューラルネットワークの改善 0.83
arXiv:1207.0580. arXiv:1207.0580。 0.49
Diederik P Kingma and Lei Ba. dieerik p kingmaとlei ba。 0.56
2015. ADAM: A In ProceedMethod for Stochastic Optimization. 2015. ADAM: 確率最適化のためのIn ProceedMethod。 0.83
ings of the 3rd International Conference on Learning Representations. 第3回国際学習表象会議に参加して 0.75
Philipp Koehn and Rebecca Knowles. Philipp KoehnとRebecca Knowles。 0.81
2017. Six Challenges for Neural Machine Translation. 2017. ニューラルネットワーク翻訳の6つの課題 0.71
arXiv preprint arXiv:1706.03872. arXiv preprint arXiv:1706.03872 0.72
Oliver Lemon, Kallirroi Georgila, James Henderson, and Matthew Stuttle. オリバー・レモン、カリロイ・ゲオルギラ、ジェームズ・ヘンダーソン、マシュー・ストゥル。 0.57
2006. An isu dialogue system exhibiting reinforcement learning of dialogue policies: generic slot-filling in the talk in-car system. 2006. 対話ポリシーの強化学習を示すisu対話システム:車内通信システムにおける汎用スロット補完 0.77
In Proceedings of the Eleventh Conference of the European Chapter of the Association for Computational Linguistics: Posters & Demonstrations, pages 119– 122. the european chapter of the association for computational linguistics: posters & demonstrations』第119-122頁。 0.53
Association for Computational Linguistics. Thang Luong, Hieu Pham, and Christopher D Manning. 計算言語学会会員。 Thang Luong、Hieu Pham、Christopher D Manning。 0.59
2015. Effective Approaches to Attention-based Neural Machine Translation. 2015. 注意に基づくニューラルマシン翻訳への効果的なアプローチ 0.75
Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1412–1421. 2015 Conference on Empirical Methods in Natural Language Processing, page 1412–1421。 0.74
Andrea Madotto, Chien-Sheng Wu, and Pascale Fung. Andrea Madotto、Chien-Sheng Wu、Pascale Fung。 0.78
2018. Mem2seq: Effectively incorporating knowledge bases into end-to-end task-oriented dialog systems. 2018. mem2seq: エンド・ツー・エンドのタスク指向ダイアログシステムに知識ベースを効果的に組み込む。 0.69
In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1468–1478. 第56回計算言語学会年次総会(第1巻:長い論文)で1468-1478頁。 0.47
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean。 0.69
2013a. Efficient estimation of word arXiv preprint representations in vector space. 2013年。 ベクトル空間における単語arXivプレプリント表現の効率的推定 0.73
arXiv:1301.3781. arXiv:1301.3781。 0.48
Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg S Corrado、Jeff Dean。 0.70
2013b. Distributed representations of words and phrases and their compositionalIn Advances in neural information processing ity. 2013年。 単語と句の分散表現とその構成結合は、神経情報処理の分野において進歩する。 0.69
systems, pages 3111–3119. システム、3111-3119頁。 0.64
Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Kishore Papineni、Salim Roukos、Todd Ward、WeiJing Zhu。 0.60
2002. BLEU: a method for automatic evalIn Proceedings of uation of machine translation. 2002. BLEU:機械翻訳の用法のevalIn自動証明法。 0.71
the 40th annual meeting on association for computational linguistics, pages 311–318. 第40回計算言語学協会年次大会、311-318頁。 0.67
英語(論文から抽出)日本語訳スコア
question answering: A set of prerequisite toy tasks. 質問応答: 必須のおもちゃの一連のタスク。 0.71
arXiv preprint arXiv:1502.05698. arXiv preprint arXiv:1502.05698 0.72
Jason D Williams and Steve Young. ジェイソン・D・ウィリアムズとスティーヴ・ヤング。 0.64
2007. Partially observable markov decision processes for spoken dialog systems. 2007. 音声対話システムのための部分可観測マルコフ決定プロセス 0.79
Computer Speech & Language, 21(2):393–422. Computer Speech & Language, 21(2):393–422。 0.88
Chien-Sheng Wu, Richard Socher, and Caiming Xiong. Chien-Sheng Wu、Richard Socher、Caiming Xiong。 0.83
2019. Global-to-local memory pointer networks for task-oriented dialogue. 2019. タスク指向対話のためのグローバル-ローカルメモリポインタネットワーク 0.73
In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. 第7回学習表現に関する国際会議, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019 0.86
OpenReview.net. OpenReview.net 0.83
Rui Yan, Yiping Song, and Hua Wu. Rui Yan, Yiping Song, Hua Wu 0.61
2016. Learning to Respond with Deep Neural Networks for Retrievalbased Human-computer Conversation System. 2016. 検索型ヒューマンコンピュータ対話システムのためのディープニューラルネットワークによる応答学習 0.80
In Proceedings of the 39th International ACM SIGIR conference on Research and Development in Information Retrieval, pages 55–64. 39th International ACM SIGIR Conference on Research and Development in Information Retrieval, page 55–64 (英語) 0.76
Pengcheng Yang, Lei Li, Fuli Luo, Tianyu Liu, and Xu Sun. Pengcheng Yang, Lei Li, Fuli Luo, Tianyu Liu, Xu Sun 0.66
2019. Enhancing topic-to-essay generation with external commonsense knowledge. 2019. 外部コモンセンス知識によるトピック・ツー・エッセイ生成の強化。 0.67
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 2002–2012. 第57回計算言語学会年次大会(2002–2012年)で開催。 0.55
Steve Young, Milica Gaˇsi´c, Blaise Thomson, and Jason D Williams. スティーブ・ヤング、ミリカ・ガシ、ブレイズ・トムソン、ジェイソン・d・ウィリアムズ。 0.68
2013. Pomdp-based statistical spoken dialog systems: A review. 2013. Pomdpに基づく統計的音声対話システム:レビュー 0.82
Proceedings of the IEEE, 101(5):1160–1179. IEEE, 101(5):1160–1179。 0.78
Yue Zhang, Rui Wang, and Luo Si. Yue Zhang、Rui Wang、Luo Si。 0.67
2019. Syntaxenhanced self-attention-based semantic role labeling. 2019. 構文強調セルフアテンションに基づく意味的役割ラベリング 0.68
arXiv preprint arXiv:1910.11204. arXiv preprint arXiv:1910.11204 0.72
Qingfu Zhu, Lei Cui, Weinan Zhang, Furu Wei, Yining Chen, and Ting Liu. Qingfu Zhu, Lei Cui, Weinan Zhang, Furu Wei, Yining Chen, Ting Liu 0.68
2018. Retrieval-Enhanced Adversarial Training for Neural Response Generation. 2018. ニューラルレスポンス生成のための検索強化逆行訓練 0.74
arXiv preprint arXiv:1809.04276. arXiv preprint arXiv:1809.04276 0.71
Libo Qin, Yijia Liu, Wanxiang Che, Haoyang Wen, Yangming Li, and Ting Liu. Libo Qin、Yijia Liu、Wanxiang Che、Haoyang Wen、Yangming Li、Ting Liu。 0.68
2019. Entity-consistent end-to-end task-oriented dialogue system with kb retriever. 2019. kbレトリバーを用いたエンティティ一貫性のあるエンドツーエンドタスク指向対話システム 0.62
arXiv preprint arXiv:1909.06762. arXiv preprint arXiv:1909.06762 0.72
Dinesh Raghu, Nikhil Gupta, et al 2019. dinesh raghu, nikhil gupta, et al 2019を参照。 0.82
Disentangling language and knowledge in task-oriented diIn Proceedings of the 2019 Conference of alogs. タスク指向のdiIn Proceedings of the 2019 Conference of alogsにおける言語と知識の分離。 0.75
the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1239–1255. The North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 1239–1255 0.82
Marc’Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Marc’Aurelio Ranzato, Sumit Chopra, Michael Auli, Wojciech Zaremba 0.67
2016. Sequence level trainInternational ing with recurrent neural networks. 2016. 繰り返しニューラルネットワークを用いたシークエンスレベルトレイン国際リング 0.81
Conference on Learning Representations. 学習表現に関する会議。 0.81
Stephen Robertson, Hugo Zaragoza, et al 2009. Stephen Robertson, Hugo Zaragoza, et al 2009 0.74
The probabilistic relevance framework: Bm25 and beyond. 確率的関連性フレームワーク:bm25以降。 0.69
Foundations and Trends® in Information Retrieval, 3(4):333–389. Foundations and Trends® in Information Retrieval, 3(4):333–389 0.92
Yiping Song, Cheng-Te Li, Jian-Yun Nie, Ming Zhang, Dongyan Zhao, and Rui Yan. Yiping Song、Cheng-Te Li、Jian-Yun Nie、Ming Zhang、Dongyan Zhao、Rui Yan。 0.82
2018. An ensemble of retrieval-based and generation-based humanIn Proceedings computer conversation systems. 2018. 検索型・世代別ヒューマンインプロシージャ型会話システムの一構成法 0.68
of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI 2018, July 1319, 2018, Stockholm, Sweden, pages 4382–4388. 第27回人工知能国際合同会議, IJCAI 2018, July 1319, 2018, Stockholm, Sweden, page 4382–4388 0.71
ijcai.org. Sainbayar Sukhbaatar, Jason Weston, Rob Fergus, et al 2015. Ijcai.org Sainbayar Sukhbaatar, Jason Weston, Rob Fergus, et al 2015 0.79
End-to-end memory networks. エンドツーエンドのメモリネットワーク。 0.56
In Advances in neural information processing systems, pages 2440–2448. 神経情報処理システムの進歩』2440-2448頁。 0.72
Zhuoran Wang and Oliver Lemon. Zhuoran WangとOliver Lemon。 0.77
2013. A simple and generic belief tracking mechanism for the dialog state tracking challenge: On the believability of observed information. 2013. 対話状態追跡チャレンジのためのシンプルで汎用的な信念追跡機構:観測情報の信頼性について 0.81
In Proceedings of the SIGDIAL 2013 Conference, pages 423–432. The Proceedings of the SIGDIAL 2013 Conference, page 423–432。 0.90
Tsung-Hsien Wen, Milica Gasic, Nikola Mrkˇsi´c, Lina M Rojas Barahona, Pei-Hao Su, Stefan Ultes, David Vandyke, and Steve Young. Tsung-Hsien Wen, Milica Gasic, Nikola Mrk'si ́c, Lina M Rojas Barahona, Pei-Hao Su, Stefan Ultes, David Vandyke, Steve Young 0.90
2016. Conditional generation and snapshot learning in neural dialogue sysIn Proceedings of the 2016 Conference on tems. 2016. ニューラルダイアログsysInにおける条件生成とスナップショット学習 0.63
Empirical Methods in Natural Language Processing, pages 2153–2162. 自然言語処理の実証的方法 2153–2162頁。 0.80
Tsung-Hsien Wen, David Vandyke, Nikola Mrksic, Milica Gasic, Lina Maria Rojas-Barahona, Pei-Hao Su, Stefan Ultes, and Steve J. Tsung-Hsien Wen, David Vandyke, Nikola Mrksic, Milica Gasic, Lina Maria Rojas-Barahona, Pei-Hao Su, Stefan Ultes, Steve J 0.93
Young. 2017. A network-based end-to-end trainable task-oriented dialogue system. 若い。 2017. ネットワークベースのエンドツーエンドのタスク指向対話システム。 0.71
In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 1: Long Papers, pages 438–449. the european chapter of the association for computational linguistics, eacl 2017年4月3日, 2017年4月7日, 巻1: long papers, pages 438–449。 0.64
Association for Computational Linguistics. Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M Rush, Bart van Merri¨enboer, Armand Joulin, and Tomas Mikolov. 計算言語学会会員。 Jason Weston, Antoine Bordes, Sumit Chopra, Alexander M Rush, Bart van Merri Zenboer, Armand Joulin, Tomas Mikolov 0.64
2015. Towards ai-complete 2015. ai完全に向けて 0.64
                       ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。