論文の概要: QUILL: Query Intent with Large Language Models using Retrieval
Augmentation and Multi-stage Distillation
- arxiv url: http://arxiv.org/abs/2210.15718v1
- Date: Thu, 27 Oct 2022 18:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:32:56.235717
- Title: QUILL: Query Intent with Large Language Models using Retrieval
Augmentation and Multi-stage Distillation
- Title(参考訳): quill: 検索強化と多段階蒸留を用いた大規模言語モデルによるクエリインテント
- Authors: Krishna Srinivasan, Karthik Raman, Anupam Samanta, Lingrui Liao, Luca
Bertelli and Mike Bendersky
- Abstract要約: クエリの検索拡張は、LLMに価値ある追加コンテキストを提供し、理解を改善できることを示す。
提案手法では, 従来の計算量の増加に悩まされることなく, 新たな2段階蒸留方式を用いる。
- 参考スコア(独自算出の注目度): 1.516937009186805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have shown impressive results on a variety of
text understanding tasks. Search queries though pose a unique challenge, given
their short-length and lack of nuance or context. Complicated feature
engineering efforts do not always lead to downstream improvements as their
performance benefits may be offset by increased complexity of knowledge
distillation. Thus, in this paper we make the following contributions: (1) We
demonstrate that Retrieval Augmentation of queries provides LLMs with valuable
additional context enabling improved understanding. While Retrieval
Augmentation typically increases latency of LMs (thus hurting distillation
efficacy), (2) we provide a practical and effective way of distilling Retrieval
Augmentation LLMs. Specifically, we use a novel two-stage distillation approach
that allows us to carry over the gains of retrieval augmentation, without
suffering the increased compute typically associated with it. (3) We
demonstrate the benefits of the proposed approach (QUILL) on a billion-scale,
real-world query understanding system resulting in huge gains. Via extensive
experiments, including on public benchmarks, we believe this work offers a
recipe for practical use of retrieval-augmented query understanding.
- Abstract(参考訳): 大規模言語モデル(llm)は様々なテキスト理解タスクで印象的な結果を示している。
検索クエリは、短さとニュアンスやコンテキストの欠如を考えると、ユニークな課題となる。
複雑な機能エンジニアリングの取り組みは、知識蒸留の複雑さの増加によってパフォーマンス上の利点が相殺される可能性があるため、必ずしも下流の改善につながるとは限らない。
そこで本論文では,(1)クエリの検索拡張がLLMに価値ある追加コンテキストを提供し,理解の向上を実現することを実証する。
Retrieval Augmentationは一般的にLMの遅延を増大させるが(蒸留効率を損なう)、 (2) Retrieval Augmentation LLMを蒸留する実用的で効果的な方法を提供する。
具体的には, 2段階蒸留方式を用いて, 計算量の増加に悩まされることなく, 検索能力の増大を乗り越えることができる。
3) 提案手法(QUILL)の10億ドル規模の実世界の問合せ理解システムにおける利点を示す。
公開ベンチマークを含む広範な実験により、この研究は検索強化クエリ理解の実践的利用のレシピを提供すると考えている。
関連論文リスト
- Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot
Question Answering [15.437464036956678]
本稿では,QA(Quesetion Answering)の性能向上を目的とした,エビデンスに着目したFact SummarizationフレームワークであるEFSumを提案する。
実験の結果,EFSumはLDMのゼロショットQA性能を向上することがわかった。
論文 参考訳(メタデータ) (2024-03-05T13:43:58Z) - ELAD: Explanation-Guided Large Language Models Active Distillation [16.243249111524403]
LLM(Large Language Models)のデプロイメントと適用は、そのメモリ非効率性、計算要求、API推論の高コストによって妨げられている。
LLMの能力をより小さなモデルに伝達する伝統的な蒸留法は、知識が十分に伝達されているかどうかを判断できないことが多い。
本稿では,アノテーションコストとモデル性能のバランスを最適化するために,アクティブラーニング戦略を用いた説明誘導型ELAD(Explaination-Guided LLMs Active Distillation)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-20T15:47:59Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Efficient Exploration for LLMs [30.14424962735887]
我々は,大規模な言語モデルを改善するために,人間のフィードバックを収集する際の効率的な探索の実質的なメリットを示す。
実験では,受信したフィードバックに報酬モデルを適用しながら,エージェントが逐次クエリを生成する。
その結果,効率の良い探索により,クエリをはるかに少なくして高いレベルの性能を実現することができた。
論文 参考訳(メタデータ) (2024-02-01T07:32:24Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Self-Convinced Prompting: Few-Shot Question Answering with Repeated
Introspection [13.608076739368949]
本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。
我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
論文 参考訳(メタデータ) (2023-10-08T06:36:26Z) - Do Compressed LLMs Forget Knowledge? An Experimental Study with
Practical Implications [63.29358103217275]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。
損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。
Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
論文 参考訳(メタデータ) (2023-10-02T03:12:06Z) - Re-Reading Improves Reasoning in Large Language Models [91.96027668854406]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。
CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。
提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文 参考訳(メタデータ) (2023-09-12T14:36:23Z) - Query Encoder Distillation via Embedding Alignment is a Strong Baseline
Method to Boost Dense Retriever Online Efficiency [4.254906060165999]
2層のBERTベースのクエリエンコーダであっても、BEIRベンチマークでは完全なDEパフォーマンスの92.5%を維持可能であることを示す。
私たちの発見が、メソッドの複雑さとパフォーマンスの改善の間のトレードオフを再評価することを、コミュニティに促すことを願っています。
論文 参考訳(メタデータ) (2023-06-05T06:53:55Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。