論文の概要: Contextual Fine-to-Coarse Distillation for Coarse-grained Response
Selection in Open-Domain Conversations
- arxiv url: http://arxiv.org/abs/2109.13087v1
- Date: Fri, 24 Sep 2021 08:22:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 10:50:40.022370
- Title: Contextual Fine-to-Coarse Distillation for Coarse-grained Response
Selection in Open-Domain Conversations
- Title(参考訳): オープンドメイン会話における粗粒度応答選択のための文脈-粗粒度蒸留
- Authors: Wei Chen, Yeyun Gong, Can Xu, Huang Hu, Bolun Yao, Zhongyu Wei, Zhihao
Fan, Xiaowu Hu, Bartuer Zhou, Biao Cheng, Daxin Jiang and Nan Duan
- Abstract要約: オープンドメイン会話における粗粒度応答選択のための文脈ファイン・ツー・コアス(CFC)蒸留モデルを提案する。
提案モデルの性能を評価するため,RedditコメントダンプとTwitterコーパスに基づく2つの新しいデータセットを構築した。
- 参考スコア(独自算出の注目度): 48.046725390986595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the problem of coarse-grained response selection in retrieval-based
dialogue systems. The problem is equally important with fine-grained response
selection, but is less explored in existing literature. In this paper, we
propose a Contextual Fine-to-Coarse (CFC) distilled model for coarse-grained
response selection in open-domain conversations. In our CFC model, dense
representations of query, candidate response and corresponding context is
learned based on the multi-tower architecture, and more expressive knowledge
learned from the one-tower architecture (fine-grained) is distilled into the
multi-tower architecture (coarse-grained) to enhance the performance of the
retriever. To evaluate the performance of our proposed model, we construct two
new datasets based on the Reddit comments dump and Twitter corpus. Extensive
experimental results on the two datasets show that the proposed methods achieve
a significant improvement over all evaluation metrics compared with traditional
baseline methods.
- Abstract(参考訳): 検索型対話システムにおける粗粒度応答選択の問題について検討する。
この問題は微粒な応答選択でも同様に重要であるが、既存の文献では調査されていない。
本稿では,オープンドメイン会話における粗粒度応答選択のためのCFC蒸留モデルを提案する。
CFCモデルでは, クエリ, 候補応答, 対応するコンテキストの高密度表現をマルチトウワーアーキテクチャに基づいて学習し, 単一トウワーアーキテクチャ(きめ細かな)から学習したより表現豊かな知識をマルチトウワーアーキテクチャ(粗い粒度の)に蒸留し, 検索器の性能を向上させる。
提案モデルの性能を評価するため,RedditコメントダンプとTwitterコーパスに基づく2つの新しいデータセットを構築した。
その結果,提案手法は従来のベースライン法と比較して,すべての評価指標に対して有意な改善が得られた。
関連論文リスト
- Revisiting Sparse Retrieval for Few-shot Entity Linking [33.15662306409253]
本稿では,ELECTRAに基づくキーワード抽出手法を提案する。
抽出器のトレーニングには,参照コンテキストとエンティティ記述との間に重複するトークンをベースとしたトレーニングデータを自動的に生成する遠隔監視手法を提案する。
ZESHELデータセットによる実験結果から,提案手法はすべてのテスト領域において,最先端モデルよりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-10-19T03:51:10Z) - Reranking Passages with Coarse-to-Fine Neural Retriever using
List-Context Information [0.9463895540925061]
本稿では、他の候補からリストコンテキスト情報を取り入れることで、文節表現を増強するリストコンテキストアテンション機構を提案する。
The proposed coarse-to-fine neural retriever address the out-of-Memory limitation of the passage attention mechanism。
提案手法の有効性を示す実験を行った。
論文 参考訳(メタデータ) (2023-08-23T09:29:29Z) - Differentiable Retrieval Augmentation via Generative Language Modeling
for E-commerce Query Intent Classification [8.59563091603226]
本稿では,この問題を解決するために,ジェネレーティブなLanguageモデリング(Dragan)による識別可能な検索拡張を提案する。
本稿では,eコマース検索における難解なNLPタスク,すなわちクエリ意図分類における提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-08-18T05:05:35Z) - Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳(メタデータ) (2023-06-01T21:23:13Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - AutoRC: Improving BERT Based Relation Classification Models via
Architecture Search [50.349407334562045]
BERTに基づく関係分類(RC)モデルは、従来のディープラーニングモデルよりも大幅に改善されている。
最適なアーキテクチャとは何かという合意は得られない。
BERTをベースとしたRCモデルのための包括的検索空間を設計し、設計選択を自動的に検出するためにNAS(Neural Architecture Search)手法を用いる。
論文 参考訳(メタデータ) (2020-09-22T16:55:49Z) - Tradeoffs in Sentence Selection Techniques for Open-Domain Question
Answering [54.541952928070344]
文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。
非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
論文 参考訳(メタデータ) (2020-09-18T23:39:15Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳(メタデータ) (2020-09-14T08:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。