論文の概要: QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation

• arxiv url: http://arxiv.org/abs/2210.15718v1
• Date: Thu, 27 Oct 2022 18:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 16:32:56.235717
• Title: QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation
• Title（参考訳）: quill: 検索強化と多段階蒸留を用いた大規模言語モデルによるクエリインテント
• Authors: Krishna Srinivasan, Karthik Raman, Anupam Samanta, Lingrui Liao, Luca Bertelli and Mike Bendersky
• Abstract要約: クエリの検索拡張は、LLMに価値ある追加コンテキストを提供し、理解を改善できることを示す。 提案手法では, 従来の計算量の増加に悩まされることなく, 新たな2段階蒸留方式を用いる。
• 参考スコア（独自算出の注目度）: 1.516937009186805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown impressive results on a variety of text understanding tasks. Search queries though pose a unique challenge, given their short-length and lack of nuance or context. Complicated feature engineering efforts do not always lead to downstream improvements as their performance benefits may be offset by increased complexity of knowledge distillation. Thus, in this paper we make the following contributions: (1) We demonstrate that Retrieval Augmentation of queries provides LLMs with valuable additional context enabling improved understanding. While Retrieval Augmentation typically increases latency of LMs (thus hurting distillation efficacy), (2) we provide a practical and effective way of distilling Retrieval Augmentation LLMs. Specifically, we use a novel two-stage distillation approach that allows us to carry over the gains of retrieval augmentation, without suffering the increased compute typically associated with it. (3) We demonstrate the benefits of the proposed approach (QUILL) on a billion-scale, real-world query understanding system resulting in huge gains. Via extensive experiments, including on public benchmarks, we believe this work offers a recipe for practical use of retrieval-augmented query understanding.
• Abstract（参考訳）: 大規模言語モデル(llm)は様々なテキスト理解タスクで印象的な結果を示している。 検索クエリは、短さとニュアンスやコンテキストの欠如を考えると、ユニークな課題となる。 複雑な機能エンジニアリングの取り組みは、知識蒸留の複雑さの増加によってパフォーマンス上の利点が相殺される可能性があるため、必ずしも下流の改善につながるとは限らない。 そこで本論文では,(1)クエリの検索拡張がLLMに価値ある追加コンテキストを提供し,理解の向上を実現することを実証する。 Retrieval Augmentationは一般的にLMの遅延を増大させるが(蒸留効率を損なう)、 (2) Retrieval Augmentation LLMを蒸留する実用的で効果的な方法を提供する。 具体的には, 2段階蒸留方式を用いて, 計算量の増加に悩まされることなく, 検索能力の増大を乗り越えることができる。 3) 提案手法(QUILL)の10億ドル規模の実世界の問合せ理解システムにおける利点を示す。 公開ベンチマークを含む広範な実験により、この研究は検索強化クエリ理解の実践的利用のレシピを提供すると考えている。

関連論文リスト

• mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
  マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。 我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。 mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
  論文  参考訳（メタデータ） (2024-11-22T16:15:50Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• SEER: Self-Aligned Evidence Extraction for Retrieval-Augmented Generation [21.823931225182115]
  本稿では,バニラモデルをエビデンス抽出器として最適化するためのモデルに基づくエビデンス抽出学習フレームワークSEERを提案する。 提案手法は, 最終RAG性能を大幅に向上させ, 抽出した証拠の忠実度, 有用性, 簡潔性を向上し, 証拠の長さを9.25倍に短縮する。
  論文  参考訳（メタデータ） (2024-10-15T06:26:24Z)
• Unleashing the Power of Large Language Models in Zero-shot Relation Extraction via Self-Prompting [21.04933334040135]
  本稿では,大規模言語モデルに組み込まれたRE知識を十分に活用する新しい手法であるSelf-Promptingフレームワークを紹介する。 我々のフレームワークは3段階の多様性アプローチを用いてLSMを誘導し、スクラッチから特定の関係をカプセル化する複数の合成サンプルを生成する。 ベンチマークデータセットを用いた実験により,既存のLCMベースのゼロショットRE法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-02T01:12:54Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model [4.173772253427094]
  大型言語モデル(LLM)は幻覚や古い情報に悩まされることが多い。 これを解決するために、情報検索(IR)システムを使用して、最新の知識を持つLLMを拡張できる。 異種赤外線システムを組み合わせた学習からランクへのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-06-09T11:00:01Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot Question Answering [14.389264346634507]
  本稿では,QA(Quesetion Answering)の性能向上を目的とした,エビデンスに着目したFact SummarizationフレームワークであるEFSumを提案する。 実験の結果,EFSumはLDMのゼロショットQA性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-05T13:43:58Z)
• Efficient Exploration for LLMs [27.59380499111532]
  我々は,大規模な言語モデルを改善するために,人間のフィードバックを収集する際の効率的な探索の実質的なメリットを示す。 実験では,受信したフィードバックに報酬モデルを適用しながら,エージェントが逐次クエリを生成する。 その結果,効率の良い探索により,クエリをはるかに少なくして高いレベルの性能を実現することができた。
  論文  参考訳（メタデータ） (2024-02-01T07:32:24Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。