論文の概要: Global-Selector: A New Benchmark Dataset and Model Architecture for
Multi-turn Response Selection
- arxiv url: http://arxiv.org/abs/2106.01263v1
- Date: Wed, 2 Jun 2021 16:14:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-03 14:46:46.010669
- Title: Global-Selector: A New Benchmark Dataset and Model Architecture for
Multi-turn Response Selection
- Title(参考訳): Global-Selector: マルチターン応答選択のためのベンチマークデータセットとモデルアーキテクチャ
- Authors: Chiyu Song, Hongliang He, Huachuan Qiu, Haofei Yu, Zhenzhong Lan
- Abstract要約: マルチターン応答選択は,対話流速を改善するために,複数の候補の中から最適な応答を選択することを目的としている。
既存のアプローチはしばしば文のスコアリング問題として定式化され、応答間の関係を考慮しない。
上記の問題に対処するため、ConvAI2+と呼ばれる新しいデータセットを作成し、Global-Selectorと呼ばれる新しい応答セレクタを提案する。
- 参考スコア(独自算出の注目度): 4.970628428602204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an essential component of dialogue systems, multi-turn response selection
aims to pick out the optimal response among a set of candidates to improve the
dialogue fluency. In this paper, we investigate three problems of current
response selection approaches, especially for generation-based conversational
agents: (i) Existing approaches are often formulated as a sentence scoring
problem, which does not consider relationships between responses. (ii) Existing
models tend to select undesirable candidates that have large overlaps with the
dialogue history. (iii) Negative instances in training are mainly constructed
by random sampling from the corpus, whereas generated candidates in practice
typically have a closer distribution. To address the above problems, we create
a new dataset called ConvAI2+ and propose a new response selector called
Global-Selector. Experimental results show that Global-Selector trained on
ConvAI2+ have noticeable improvements in both accuracy and inference speed.
- Abstract(参考訳): 対話システムの本質的な構成要素として,マルチターン応答選択は,対話流動性を改善するために候補群間の最適な応答を選択することを目的としている。
本稿では,現在の応答選択アプローチの3つの問題,特に世代ベースの対話エージェントについて検討する: (i)既存のアプローチは文のスコアリング問題としてしばしば定式化され,応答間の関係を考慮しない。
(II)既存のモデルは対話履歴に大きく重なる望ましくない候補を選択する傾向がある。
(iii) 学習中の負のインスタンスは主にコーパスからのランダムサンプリングによって構築されるが、実際には生成された候補はより密接な分布を持つ。
上記の問題に対処するため、ConvAI2+と呼ばれる新しいデータセットを作成し、Global-Selectorと呼ばれる新しい応答セレクタを提案する。
実験の結果、convai2+でトレーニングされたグローバルセレクタは精度と推論速度の両方において顕著な改善が見られた。
関連論文リスト
- Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement [1.4037575966075835]
生のオーディオの1Dフィルターは訓練が困難で、しばしば不安定に悩まされる。
これらの問題は、理論駆動とデータ駆動のアプローチを組み合わせたハイブリッドソリューションによって解決される。
論文 参考訳(メタデータ) (2024-08-30T15:49:31Z) - Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。
本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。
トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
論文 参考訳(メタデータ) (2024-02-19T18:06:02Z) - Question Answering Infused Pre-training of General-Purpose
Contextualized Representations [70.62967781515127]
汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。
我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。
ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
論文 参考訳(メタデータ) (2021-06-15T14:45:15Z) - Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
左右方向と左右方向を同時に生成するデコーダを提案する。
一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。
我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
論文 参考訳(メタデータ) (2020-10-27T17:38:51Z) - Orthros: Non-autoregressive End-to-end Speech Translation with
Dual-decoder [64.55176104620848]
NARと自己回帰(AR)デコーダの両方を共有音声エンコーダで共同で訓練する新しいNAR E2E-STフレームワークOrthrosを提案する。
後者は、前者から生成される様々な長の候補間のより良い翻訳を選択するために使用され、これは、無視できるオーバーヘッドを持つ大きな長のビームの有効性を劇的に向上させる。
4つのベンチマーク実験により、競合翻訳品質を維持しつつ、推論速度を向上させる手法の有効性が示された。
論文 参考訳(メタデータ) (2020-10-25T06:35:30Z) - Dual Encoding for Video Retrieval by Text [49.34356217787656]
本稿では,ビデオやクエリを独自の高密度表現に符号化する2つのディープエンコーディングネットワークを提案する。
まず、特定のシングルレベルエンコーダを利用する先行技術と異なり、提案するネットワークはマルチレベルエンコーダを実行する。
第2に、概念ベースまたは潜在空間ベースのいずれかである従来の共通空間学習アルゴリズムとは異なり、ハイブリッド空間学習を導入する。
論文 参考訳(メタデータ) (2020-09-10T15:49:39Z) - Distilling Knowledge for Fast Retrieval-based Chat-bots [6.284464997330884]
我々は,新しいクロスエンコーダアーキテクチャを提案し,このモデルから蒸留を用いたバイエンコーダモデルに知識を伝達する。
これにより、2エンコーダの性能は、推論時間中に無コストで効果的に向上する。
論文 参考訳(メタデータ) (2020-04-23T09:41:37Z) - Consistent Multiple Sequence Decoding [36.46573114422263]
一貫性のある多重シーケンスデコーディングアーキテクチャを導入する。
このアーキテクチャは任意の数のシーケンスを一貫した同時復号化を可能にする。
重回帰画像キャプションにおける一貫した多重シーケンスデコーダの有効性を示す。
論文 参考訳(メタデータ) (2020-04-02T00:43:54Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳(メタデータ) (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。