論文の概要: GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation

• arxiv url: http://arxiv.org/abs/2404.03746v1
• Date: Thu, 4 Apr 2024 18:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:35:40.873719
• Title: GenQREnsemble: Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation
• Title（参考訳）: GenQREnsemble:Zero-Shot LLM Ensemble Prompting for Generative Query Reformulation
• Authors: Kaustubh Dhole, Eugene Agichtein,
• Abstract要約: 我々は,複数のキーワードセットを生成するためのアンサンブルベースのプロンプト手法GenQREnsembleを提案する。 4つのIRベンチマークで評価したところ、GenQREnsembleは相対的なnDCG@10の改善を18%まで、MAPの改善を24%まで改善した。
• 参考スコア（独自算出の注目度）: 5.793298194062544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Query Reformulation(QR) is a set of techniques used to transform a user's original search query to a text that better aligns with the user's intent and improves their search experience. Recently, zero-shot QR has been shown to be a promising approach due to its ability to exploit knowledge inherent in large language models. By taking inspiration from the success of ensemble prompting strategies which have benefited many tasks, we investigate if they can help improve query reformulation. In this context, we propose an ensemble based prompting technique, GenQREnsemble which leverages paraphrases of a zero-shot instruction to generate multiple sets of keywords ultimately improving retrieval performance. We further introduce its post-retrieval variant, GenQREnsembleRF to incorporate pseudo relevant feedback. On evaluations over four IR benchmarks, we find that GenQREnsemble generates better reformulations with relative nDCG@10 improvements up to 18% and MAP improvements upto 24% over the previous zero-shot state-of-art. On the MSMarco Passage Ranking task, GenQREnsembleRF shows relative gains of 5% MRR using pseudo-relevance feedback, and 9% nDCG@10 using relevant feedback documents.
• Abstract（参考訳）: クエリリフォーム(QR)は、ユーザの本来の検索クエリを、ユーザの意図に合わせたテキストに変換し、検索エクスペリエンスを改善するための一連のテクニックである。 近年、ゼロショットQRは、大きな言語モデルに固有の知識を活用できるため、有望なアプローチであることが示されている。 多くのタスクに利益をもたらしているアンサンブルの成功からインスピレーションを得て、クエリのリフォームの改善に役立てられるかどうかを考察する。 本稿では、ゼロショット命令のパラフレーズを利用して複数のキーワードセットを生成するアンサンブルベースのプロンプト手法GenQREnsembleを提案する。 さらに、検索後の変種であるGenQREnsembleRFを導入し、擬似的な関連するフィードバックを組み込む。 4つのIRベンチマークで評価したところ、GenQREnsembleは相対的なnDCG@10の改善を18%まで、MAPの改善を24%まで改善した。 MSMarco Passage Ranking タスクでは、擬似関連フィードバックを用いて、GenQREnsembleRF は 5% MRR の相対的なゲインを示し、9% nDCG@10 は関連するフィードバック文書を用いている。

関連論文リスト

• LoRE: Logit-Ranked Retriever Ensemble for Enhancing Open-Domain Question Answering [0.0]
  位置バイアスを緩和することで解答精度と妥当性を向上させる新しいアプローチであるLoREを提案する。 LoREはBM25やFAISSインデックス付き文変換器といった多様なレトリバーのアンサンブルを使用している。 重要な革新は、ロジットベースの回答ランキングアルゴリズムで、大きな言語モデルからのロジットスコアとパスの検索ランクを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-10-13T23:06:08Z)
• GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval [20.807374287510623]
  我々は,多種多様な意図を適応的に捉えるための生成クラスタリング・改革フレームワークGenCRFを提案する。 我々はGenCRFが,nDCG@10で従来のクエリ修正SOTAを最大12%上回り,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-17T05:59:32Z)
• MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [34.39053202801489]
  現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。 本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。 2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
  論文  参考訳（メタデータ） (2024-08-30T07:57:30Z)
• You Augment Me: Exploring ChatGPT-based Data Augmentation for Semantic Code Search [47.54163552754051]
  コード検索はソフトウェア開発において重要な役割を担い、開発者は自然言語クエリを使ってコードを検索し再利用することができる。 近年,大規模言語モデル (LLM) は自然言語の理解と生成において顕著な進歩を遂げている。 本稿では,大規模言語モデルによって生成された高品質で多様な拡張データを利用する新しいアプローチChatDANCEを提案する。
  論文  参考訳（メタデータ） (2024-08-10T12:51:21Z)
• Generative Query Reformulation Using Ensemble Prompting, Document Fusion, and Relevance Feedback [8.661419320202787]
  GenQREnsembleとGenQRFusionはゼロショット命令のパラフレーズを利用して複数のキーワードセットを生成し、検索性能を向上させる。 検索前設定ではnDCG@10で最大18%,検索後設定では9%の精度で検索効率を向上できることを示す。
  論文  参考訳（メタデータ） (2024-05-27T21:03:26Z)
• RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
  アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。 公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
  論文  参考訳（メタデータ） (2024-05-23T11:00:19Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Can Query Expansion Improve Generalization of Strong Cross-Encoder Rankers? [72.42500059688396]
  本稿では,拡張されたクエリのランク付け結果を融合により高速化し,エンジニアリングの迅速化と集約を行うことにより,強力なニューラルネットワークローカの一般化を向上できることを示す。 BEIR と TREC Deep Learning の実験では,MonoT5 と RankT5 の nDCG@10 スコアがこれらのステップに従って改善された。
  論文  参考訳（メタデータ） (2023-11-15T18:11:41Z)
• GAR-meets-RAG Paradigm for Zero-Shot Information Retrieval [16.369071865207808]
  本稿では,既存のパラダイムの課題を克服する新しいGAR-meets-RAG再帰の定式化を提案する。 鍵となる設計原則は、リライト・検索段階がシステムのリコールを改善し、最終段階が精度を向上させることである。 我々の手法はBEIRベンチマークで新たな最先端性を確立し、8つのデータセットのうち6つでRecall@100とnDCG@10の指標で過去の最高の結果を上回った。
  論文  参考訳（メタデータ） (2023-10-31T03:52:08Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• CoSQA: 20,000+ Web Queries for Code Search and Question Answering [63.92224685262063]
  CoSQAデータセットには、自然言語クエリとコードのペア用の20,604ラベルが含まれている。 本稿では,クエリコードマッチングを強化するために,CoCLRと呼ばれる対照的な学習手法を提案する。 我々は,CodeXGLUEを同じCodeBERTモデルで評価し,CoSQAのトレーニングにより,コード質問応答の精度が5.1%向上したことを示す。
  論文  参考訳（メタデータ） (2021-05-27T15:37:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。