論文の概要: MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion

• arxiv url: http://arxiv.org/abs/2310.19056v3
• Date: Thu, 28 Mar 2024 06:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 21:33:29.787286
• Title: MILL: Mutual Verification with Large Language Models for Zero-Shot Query Expansion
• Title（参考訳）: MILL: ゼロショットクエリ拡張のための大規模言語モデルによる相互検証
• Authors: Pengyue Jia, Yiding Liu, Xiangyu Zhao, Xiaopeng Li, Changying Hao, Shuaiqiang Wang, Dawei Yin,
• Abstract要約: 本稿では,大規模言語モデル(LLM)を相互検証に用いるゼロショットクエリ拡張フレームワークを提案する。 提案手法は完全にゼロショットであり,その有効性を示すために3つの公開ベンチマークデータセットに関する広範な実験を行った。
• 参考スコア（独自算出の注目度）: 39.24969189479343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Query expansion, pivotal in search engines, enhances the representation of user information needs with additional terms. While existing methods expand queries using retrieved or generated contextual documents, each approach has notable limitations. Retrieval-based methods often fail to accurately capture search intent, particularly with brief or ambiguous queries. Generation-based methods, utilizing large language models (LLMs), generally lack corpus-specific knowledge and entail high fine-tuning costs. To address these gaps, we propose a novel zero-shot query expansion framework utilizing LLMs for mutual verification. Specifically, we first design a query-query-document generation method, leveraging LLMs' zero-shot reasoning ability to produce diverse sub-queries and corresponding documents. Then, a mutual verification process synergizes generated and retrieved documents for optimal expansion. Our proposed method is fully zero-shot, and extensive experiments on three public benchmark datasets are conducted to demonstrate its effectiveness over existing methods. Our code is available online at https://github.com/Applied-Machine-Learning-Lab/MILL to ease reproduction.
• Abstract（参考訳）: クエリ拡張は、検索エンジンにおいて重要なものであり、追加用語でユーザ情報の表現を強化する。 既存の手法は検索あるいは生成されたコンテキスト文書を使ってクエリを拡張するが、それぞれのアプローチには顕著な制限がある。 検索に基づく手法は、検索意図を正確に捉えるのに失敗することが多い。 大規模言語モデル(LLM)を利用するジェネレーションベースの手法は、一般にコーパス固有の知識がなく、高い微調整コストを必要とする。 これらのギャップに対処するために,LLMを用いた新たなゼロショットクエリ拡張フレームワークを提案する。 具体的には、まずLLMのゼロショット推論機能を利用して、多様なサブクエリと対応するドキュメントを生成するクエリクエリ文書生成手法を設計する。 そして、相互検証処理は、生成および検索された文書を最適な拡張のために相乗化する。 提案手法は完全にゼロショットであり,既存の手法に対する有効性を示すために,3つの公開ベンチマークデータセットに関する広範な実験を行った。 私たちのコードは、再現を容易にするためにhttps://github.com/Applied-Machine-Learning-Lab/MILLでオンラインで公開されています。

関連論文リスト

• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models [28.105271954633682]
  本稿では,Large Language Models (LLMs) へのリーク情報の再ランク付けのための,Q-PEFT (Q-PEFT) アプローチを提案する。 クエリを使用して、入力ドキュメントから上位$kのトークンを抽出し、コンテキストのヒントとして機能します。 検索機構をマルチヘッドアテンション層に置き換えて、エンドツーエンドのトレーニングを実現し、文書中のすべてのトークンをカバーすることにより、Q-PEFTをさらに強化する。
  論文  参考訳（メタデータ） (2024-04-06T06:44:41Z)
• Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering [40.2758450304531]
  オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。 本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。 我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
  論文  参考訳（メタデータ） (2024-03-08T11:09:13Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Query2doc: Query Expansion with Large Language Models [69.9707552694766]
  提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。 query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。 また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
  論文  参考訳（メタデータ） (2023-03-14T07:27:30Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。