論文の概要: Distilling the Knowledge of Large-scale Generative Models into Retrieval Models for Efficient Open-domain Conversation

• arxiv url: http://arxiv.org/abs/2108.12582v2
• Date: Tue, 31 Aug 2021 04:35:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 11:30:27.173306
• Title: Distilling the Knowledge of Large-scale Generative Models into Retrieval Models for Efficient Open-domain Conversation
• Title（参考訳）: 効率的なオープンドメイン会話のための大規模生成モデルの知識を検索モデルに割く
• Authors: Beomsu Kim, Seokjun Seo, Seungju Han, Enkhbayar Erdenee, Buru Chang
• Abstract要約: 本稿では,大規模生成モデルの対話能力を活用しながら,検索モデルの効率を向上するG2Rという新たな学習手法を提案する。 データレベルG2Rは、大規模生成モデルによって生成された追加応答で対話データセットを増強し、モデルレベルG2Rは、生成モデルによって評価された応答品質スコアを検索モデルのスコアに転送する。
• 参考スコア（独自算出の注目度）: 9.335904274509918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable performance of large-scale generative models in open-domain conversation, they are known to be less practical for building real-time conversation systems due to high latency. On the other hand, retrieval models could return responses with much lower latency but show inferior performance to the large-scale generative models since the conversation quality is bounded by the pre-defined response set. To take advantage of both approaches, we propose a new training method called G2R (Generative-to-Retrieval distillation) that preserves the efficiency of a retrieval model while leveraging the conversational ability of a large-scale generative model by infusing the knowledge of the generative model into the retrieval model. G2R consists of two distinct techniques of distillation: the data-level G2R augments the dialogue dataset with additional responses generated by the large-scale generative model, and the model-level G2R transfers the response quality score assessed by the generative model to the score of the retrieval model by the knowledge distillation loss. Through extensive experiments including human evaluation, we demonstrate that our retrieval-based conversation system trained with G2R shows a substantially improved performance compared to the baseline retrieval model while showing significantly lower inference latency than the large-scale generative models.
• Abstract（参考訳）: オープンドメイン会話における大規模生成モデルの顕著な性能にもかかわらず、レイテンシが高いためにリアルタイム会話システムを構築するには実用的でないことが知られている。 一方,検索モデルはより低レイテンシで応答を返すことができるが,会話品質は予め定義された応答セットによって制限されているため,大規模生成モデルでは性能が劣る。 両者のアプローチを生かして, 生成モデルの知識を検索モデルに取り入れることで, 大規模生成モデルの会話能力を活用しつつ, 検索モデルの効率を保ちながら, g2r (generative-to-retrieval distillation) と呼ばれる新たな訓練法を提案する。 データレベルG2Rは、大規模生成モデルによって生成された追加応答で対話データセットを増強し、モデルレベルG2Rは、生成モデルによって評価された応答品質スコアを、知識蒸留損失により検索モデルのスコアに転送する。 人間の評価を含む広範囲な実験を通して,G2Rで訓練した検索ベースの会話システムは,ベースライン検索モデルと比較して大幅に性能が向上し,大規模な生成モデルよりも推論遅延が著しく低いことを示した。

関連論文リスト

• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery [52.95935278819512]
  本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。 因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T06:33:48Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights [2.9678808525128813]
  我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-29T12:53:58Z)
• A Relational Model for One-Shot Classification [80.77724423309184]
  インダクティブバイアスを組み込んだディープラーニングモデルは,広範なデータ拡張に頼ることなく,サンプル効率のよい学習にメリットをもたらすことを示す。 提案するワンショット分類モデルは,一対の入力を局所的および対的注意の形で関係マッチングする。
  論文  参考訳（メタデータ） (2021-11-08T07:53:12Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)
• Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation [14.669454236593447]
  質問と回答の埋め込みを独立に計算すると、回答に一致する質問に関連する情報の後期融合が生じる。 本稿では,正確な初期核融合モデルを用いた教師付きデータマイニング手法を提案し,効率的な後期核融合検索モデルのトレーニングを改善する。
  論文  参考訳（メタデータ） (2020-09-29T07:02:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。