論文の概要: End-to-End Autoregressive Retrieval via Bootstrapping for Smart Reply Systems

• arxiv url: http://arxiv.org/abs/2310.18956v1
• Date: Sun, 29 Oct 2023 09:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:16:28.342329
• Title: End-to-End Autoregressive Retrieval via Bootstrapping for Smart Reply Systems
• Title（参考訳）: スマートリプライシステムのためのブートストラップによるエンドツーエンド自動回帰検索
• Authors: Benjamin Towle, Ke Zhou
• Abstract要約: ブートストラップによって得られた(メッセージ,返信セット)ペアのデータセットから,スマートリプライタスクをエンドツーエンドに学習する新たなアプローチを検討する。 実験結果から、この手法は3つのデータセットにわたる最先端のベースラインを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 7.2949782290577945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reply suggestion systems represent a staple component of many instant messaging and email systems. However, the requirement to produce sets of replies, rather than individual replies, makes the task poorly suited for out-of-the-box retrieval architectures, which only consider individual message-reply similarity. As a result, these system often rely on additional post-processing modules to diversify the outputs. However, these approaches are ultimately bottlenecked by the performance of the initial retriever, which in practice struggles to present a sufficiently diverse range of options to the downstream diversification module, leading to the suggestions being less relevant to the user. In this paper, we consider a novel approach that radically simplifies this pipeline through an autoregressive text-to-text retrieval model, that learns the smart reply task end-to-end from a dataset of (message, reply set) pairs obtained via bootstrapping. Empirical results show this method consistently outperforms a range of state-of-the-art baselines across three datasets, corresponding to a 5.1%-17.9% improvement in relevance, and a 0.5%-63.1% improvement in diversity compared to the best baseline approach. We make our code publicly available.
• Abstract（参考訳）: 返信提案システムは、多くのインスタントメッセージングやメールシステムの主成分である。 しかし、個々の返信ではなく、一連の返信を生成するという要求は、個々のメッセージ・レスポンスの類似性のみを考慮し、既定の検索アーキテクチャにはあまり適さない。 その結果、これらのシステムは出力を多様化するために追加の後処理モジュールに依存することが多い。 しかし、これらのアプローチは最終的に最初のレトリバーのパフォーマンスによってボトルネックとなり、実際には下流の多様化モジュールに十分に多様なオプションを提供するのに苦労しており、提案はユーザにはあまり関係しない。 本稿では,このパイプラインを,ブートストラップによって得られる(メッセージ,返信セット)ペアのデータセットから,スマート応答タスクをエンドツーエンドに学習する自動回帰テキスト-テキスト検索モデルにより,根本的に単純化する手法を検討する。 実験の結果、この手法は3つのデータセットにまたがる最先端のベースラインを一貫して上回っており、5.1%-17.9%の妥当性向上と0.5%-63.1%の多様性向上に対応している。 コードを公開しています。

関連論文リスト

• Meta-prompting Optimized Retrieval-augmented Generation [1.3996171129586734]
  下流タスクにおける大規模言語モデルの性能を活かすため、検索拡張世代は外部ソースから取得したコンテンツに頼っている。 本稿では,メタプロンプト最適化を利用して,検索したコンテンツをプロンプトに含める前に洗練する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:20:12Z)
• MCS-SQL: Leveraging Multiple Prompts and Multiple-Choice Selection For Text-to-SQL Generation [10.726734105960924]
  大規模言語モデル(LLM)は、テキストからタスクへの微調整アプローチを大幅に上回る、ICL(In-context Learning)ベースの手法を実現している。 本研究は,LLMのプロンプトに対する感受性を考察し,複数のプロンプトを活用してより広い探索空間を探索する手法を提案する。 生成したクエリの精度と効率の両面から,BIRD上に新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2024-05-13T04:59:32Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search [25.16282868262589]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• Model-Based Simulation for Optimising Smart Reply [3.615981646205045]
  スマートリプライ(SR)システムは、応答をタイプする代わりに選択できる一連のリプライをユーザに提示する。 これまでの研究は、反応の集合を明示的に学習するのではなく、主にポストホック化に重点を置いてきた。 そこで本研究では,モデルに基づくシミュレーションを用いて高値応答集合を探索する新しい手法SimSRを提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:04:33Z)
• Diversity-Aware Meta Visual Prompting [111.75306320834629]
  DAM-VP(Diversity-Aware Meta Visual Prompting)は、学習済みのモデルを凍結したバックボーンで下流のタスクに転送する効率的なプロンプト手法である。 下流のデータセットを、多様性に富んだ方法で小さなサブセットにクラスタ化し、それぞれのサブセットがそれぞれ独自のプロンプトを持っている。 すべてのプロンプトはメタプロンプトで最適化され、複数のデータセットで学習される。
  論文  参考訳（メタデータ） (2023-03-14T17:59:59Z)
• Contextual Fine-to-Coarse Distillation for Coarse-grained Response Selection in Open-Domain Conversations [48.046725390986595]
  オープンドメイン会話における粗粒度応答選択のための文脈ファイン・ツー・コアス(CFC)蒸留モデルを提案する。 提案モデルの性能を評価するため,RedditコメントダンプとTwitterコーパスに基づく2つの新しいデータセットを構築した。
  論文  参考訳（メタデータ） (2021-09-24T08:22:35Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Tradeoffs in Sentence Selection Techniques for Open-Domain Question Answering [54.541952928070344]
  文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。 非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
  論文  参考訳（メタデータ） (2020-09-18T23:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。