論文の概要: Distilling Knowledge for Fast Retrieval-based Chat-bots

• arxiv url: http://arxiv.org/abs/2004.11045v1
• Date: Thu, 23 Apr 2020 09:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 09:55:24.797793
• Title: Distilling Knowledge for Fast Retrieval-based Chat-bots
• Title（参考訳）: 高速検索型チャットボットの蒸留知識
• Authors: Amir Vakili Tahami, Kamyar Ghajar, Azadeh Shakery
• Abstract要約: 我々は,新しいクロスエンコーダアーキテクチャを提案し,このモデルから蒸留を用いたバイエンコーダモデルに知識を伝達する。 これにより、2エンコーダの性能は、推論時間中に無コストで効果的に向上する。
• 参考スコア（独自算出の注目度）: 6.284464997330884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Response retrieval is a subset of neural ranking in which a model selects a suitable response from a set of candidates given a conversation history. Retrieval-based chat-bots are typically employed in information seeking conversational systems such as customer support agents. In order to make pairwise comparisons between a conversation history and a candidate response, two approaches are common: cross-encoders performing full self-attention over the pair and bi-encoders encoding the pair separately. The former gives better prediction quality but is too slow for practical use. In this paper, we propose a new cross-encoder architecture and transfer knowledge from this model to a bi-encoder model using distillation. This effectively boosts bi-encoder performance at no cost during inference time. We perform a detailed analysis of this approach on three response retrieval datasets.
• Abstract（参考訳）: 応答検索は、モデルが会話履歴を与えられた候補のセットから適切な応答を選択するニューラルネットワークランキングのサブセットである。 検索ベースのチャットボットは通常、顧客サポートエージェントのような会話システムを求める情報に使用される。 会話履歴と候補応答をペアで比較するために、ペア上で完全な自己認識を行うクロスエンコーダと、ペアを別々にエンコードするバイエンコーダという2つのアプローチが一般的である。 前者はより良い予測品質を与えるが、実用には遅すぎる。 本稿では,新しいクロスエンコーダアーキテクチャを提案し,このモデルから蒸留を用いたバイエンコーダモデルへ知識を伝達する。 これにより、2エンコーダの性能は、推論時にコストなしで効果的に向上する。 本稿では,この手法を3つの応答検索データセットで詳細に解析する。

関連論文リスト

• Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
  コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。 本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。 トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
  論文  参考訳（メタデータ） (2024-02-19T18:06:02Z)
• RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation [30.245143345565758]
  パーソナライズされた応答生成のための検索強化手法を提案する。 対話ドメインデータに基づいて訓練された階層型トランスフォーマーを設計し、パーソナライズされた検索を行うとともに、検索した情報をデコーダに効率的に融合するコンテキスト対応プレフィックスエンコーダを設計する。 人的および自動メトリクスの組でモデルの性能を定量的に評価し、英語のReddit会話における最先端のベースラインよりも優れていると判断した。
  論文  参考訳（メタデータ） (2023-06-12T16:10:21Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Human-Object Interaction Detection via Disentangled Transformer [63.46358684341105]
  本稿では,2つのサブタスクの学習を容易にするために,エンコーダとデコーダの両方をアンタングル化するDisentangled Transformerを提案する。 提案手法は,2つの公開HOIベンチマークにおいて,従来よりも大きなマージンを達成している。
  論文  参考訳（メタデータ） (2022-04-20T08:15:04Z)
• A Speaker-aware Parallel Hierarchical Attentive Encoder-Decoder Model for Multi-turn Dialogue Generation [13.820298189734686]
  本稿では,マルチターン会話における話者の区別を強調するオープンドメイン対話生成モデルを提案する。 実験の結果,PHAEDは自動評価と人的評価の両面で最先端の成績を示した。
  論文  参考訳（メタデータ） (2021-10-13T16:08:29Z)
• Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning [27.04857039060308]
  検索システムを構築するために,両世界の長所を組み合わせることを提案する。 従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。 我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
  論文  参考訳（メタデータ） (2021-10-01T01:32:33Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)
• A Template-guided Hybrid Pointer Network for Knowledge-basedTask-oriented Dialogue Systems [15.654119998970499]
  本稿では,知識に基づくタスク指向対話システムのためのテンプレート誘導型ハイブリッドポインタネットワークを提案する。 本研究では,ゲーティング機構を備えたメモリポインタネットワークモデルを設計し,検索した回答と接地トラス応答とのセマンティックな相関関係をフル活用する。
  論文  参考訳（メタデータ） (2021-06-10T15:49:26Z)
• Improving Response Quality with Backward Reasoning in Open-domain Dialogue Systems [53.160025961101354]
  本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。 提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。 副次的な情報を導入することなく応答品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-04-30T20:38:27Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。