論文の概要: Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning

• arxiv url: http://arxiv.org/abs/2110.00159v1
• Date: Fri, 1 Oct 2021 01:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-04 14:37:32.550725
• Title: Building an Efficient and Effective Retrieval-based Dialogue System via Mutual Learning
• Title（参考訳）: 相互学習による効率的・効果的な検索対話システムの構築
• Authors: Chongyang Tao, Jiazhan Feng, Chang Liu, Juntao Li, Xiubo Geng, Daxin Jiang
• Abstract要約: 検索システムを構築するために,両世界の長所を組み合わせることを提案する。 従来の機能ベースの事前検索モデルを置き換えるために、高速なバイエンコーダを使用します。 我々は、相互学習を通じて、事前検索モデルと再評価モデルとを同時に訓練する。
• 参考スコア（独自算出の注目度）: 27.04857039060308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Establishing retrieval-based dialogue systems that can select appropriate responses from the pre-built index has gained increasing attention from researchers. For this task, the adoption of pre-trained language models (such as BERT) has led to remarkable progress in a number of benchmarks. There exist two common approaches, including cross-encoders which perform full attention over the inputs, and bi-encoders that encode the context and response separately. The former gives considerable improvements in accuracy but is often inapplicable in practice for large-scale retrieval given the cost of the full attention required for each sample at test time. The latter is efficient for billions of indexes but suffers from sub-optimal performance. In this work, we propose to combine the best of both worlds to build a retrieval system. Specifically, we employ a fast bi-encoder to replace the traditional feature-based pre-retrieval model (such as BM25) and set the response re-ranking model as a more complicated architecture (such as cross-encoder). To further improve the effectiveness of our framework, we train the pre-retrieval model and the re-ranking model at the same time via mutual learning, which enables two models to learn from each other throughout the training process. We conduct experiments on two benchmarks and evaluation results demonstrate the efficiency and effectiveness of our proposed framework.
• Abstract（参考訳）: 事前構築したインデックスから適切な応答を選択できる検索ベースの対話システムの構築が研究者の注目を集めている。 このタスクのために、事前訓練された言語モデル(BERTなど)の採用は、多くのベンチマークにおいて顕著な進歩をもたらした。 入力を完全に注意するクロスエンコーダと、コンテキストとレスポンスを個別にエンコードするバイエンコーダの2つの一般的なアプローチがある。 前者は精度を大幅に改善するが、テスト時に各サンプルに必要とされる全注意のコストを考えると、大規模な検索には適用できないことが多い。 後者は数十億のインデックスに対して効率的だが、準最適性能に悩まされている。 本研究では,検索システムを構築するために,両世界のベストを組み合わせることを提案する。 具体的には、従来の機能ベースの事前検索モデル(BM25など)を置き換えるために高速なバイエンコーダを使用し、応答再ランクモデルをより複雑なアーキテクチャ(クロスエンコーダなど)として設定する。 フレームワークの有効性をさらに向上するため、我々は相互学習を通じて事前検索モデルと再分類モデルを同時に訓練し、トレーニングプロセスを通して2つのモデルが互いに学習できるようにする。 2つのベンチマーク実験を行い,提案手法の有効性と有効性を示す。

関連論文リスト

• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Think-then-Act: A Dual-Angle Evaluated Retrieval-Augmented Generation [3.2134014920850364]
  大型言語モデル(LLM)は時相の誤りや幻覚的内容の生成といった課題に直面していることが多い。 二重角評価による検索拡張生成フレームワーク textitThink-then-Act を提案する。
  論文  参考訳（メタデータ） (2024-06-18T20:51:34Z)
• Beyond Two-Tower Matching: Learning Sparse Retrievable Cross-Interactions for Recommendation [80.19762472699814]
  2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。 機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。 我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:13:36Z)
• REINFOREST: Reinforcing Semantic Code Similarity for Cross-Lingual Code Search Models [11.78036105494679]
  本稿では,Large Language Models (LLMs) の性能を向上させる新しいコード・ツー・コード検索手法を提案する。 本稿では,学習中の動的情報を検索対象のコーパスや,推論時に検索クエリを実行することなく符号化するコード検索手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T20:46:56Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。