論文の概要: Context Aware Query Rewriting for Text Rankers using LLM
- arxiv url: http://arxiv.org/abs/2308.16753v1
- Date: Thu, 31 Aug 2023 14:19:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:15:02.933803
- Title: Context Aware Query Rewriting for Text Rankers using LLM
- Title（参考訳）: LLMを用いたテキストランカのコンテキストアウェアクエリ書き換え
- Authors: Abhijit Anand, Venktesh V, Vinay Setty, Avishek Anand
- Abstract要約: テキストランキングタスクのクエリ書き直し改善のための大規模モデルの有用性を解析する。
私たちは、コンテキスト対応クエリ書き換え(CAR)と呼ばれる、シンプルだが驚くほど効果的なアプローチを採用しています。
書き直しクエリを使ってランク付けを行うと、パスランキングタスクでは最大33%、ドキュメントランキングタスクでは最大28%の大幅な改善が得られます。
- 参考スコア（独自算出の注目度）: 5.164642900490078
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Query rewriting refers to an established family of approaches that are
applied to underspecified and ambiguous queries to overcome the vocabulary
mismatch problem in document ranking. Queries are typically rewritten during
query processing time for better query modelling for the downstream ranker.
With the advent of large-language models (LLMs), there have been initial
investigations into using generative approaches to generate pseudo documents to
tackle this inherent vocabulary gap. In this work, we analyze the utility of
LLMs for improved query rewriting for text ranking tasks. We find that there
are two inherent limitations of using LLMs as query re-writers -- concept drift
when using only queries as prompts and large inference costs during query
processing. We adopt a simple, yet surprisingly effective, approach called
context aware query rewriting (CAR) to leverage the benefits of LLMs for query
understanding. Firstly, we rewrite ambiguous training queries by context-aware
prompting of LLMs, where we use only relevant documents as context.Unlike
existing approaches, we use LLM-based query rewriting only during the training
phase. Eventually, a ranker is fine-tuned on the rewritten queries instead of
the original queries during training. In our extensive experiments, we find
that fine-tuning a ranker using re-written queries offers a significant
improvement of up to 33% on the passage ranking task and up to 28% on the
document ranking task when compared to the baseline performance of using
original queries.
- Abstract（参考訳）: クエリ書き換えは、文書のランク付けにおける語彙ミスマッチ問題を克服するために、不特定であいまいなクエリに適用される、確立されたアプローチのファミリーを指す。
クエリは通常、ダウンストリームローダのクエリモデリングを改善するためにクエリ処理時間中に書き直される。
大規模言語モデル (LLMs) の出現に伴い、この固有語彙ギャップに対処するために擬似文書を生成するために生成的アプローチを用いた研究が始められた。
本研究では,テキストランキングタスクのクエリ書き換え改善のためのLCMの有用性を解析する。
クエリリライタとしてLLMを使用するには,2つの固有の制限がある – クエリのみをプロンプトとして使用する場合のコンセプトドリフトと,クエリ処理時の推論コストが大きいのだ。
我々は、クエリ理解にLLMの利点を活用するために、コンテキスト対応クエリ書き換え(CAR)と呼ばれるシンプルだが驚くほど効果的なアプローチを採用する。
まず,関連する文書のみをコンテキストとして使用するllmのコンテキスト認識プロンプトによって,曖昧なトレーニングクエリを書き換える。既存のアプローチとは異なり,トレーニングフェーズ中にのみ,llmベースのクエリリライトを使用する。
最終的に、ローダはトレーニング中に元のクエリの代わりに書き直されたクエリで微調整される。
広範な実験により,再書き込みクエリを用いたランカの微調整により,パッセージランキングタスクでは最大33%,文書ランク付けタスクでは28%の大幅な改善が得られた。
関連論文リスト
- HyQE: Ranking Contexts with Hypothetical Query Embeddings [9.23634055123276]
検索拡張システムでは、検索したコンテキストをユーザクエリとの関連性に基づいて順序付けするために、コンテキストランキング技術が一般的に使用される。
大規模言語モデル(LLM)は、文脈のランク付けに使われてきた。
LLMの微調整を必要とせずに、埋め込み類似性とLLM機能を組み合わせたスケーラブルなランキングフレームワークを導入する。
論文 参考訳（メタデータ） (2024-10-20T03:15:01Z) - CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。
我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
論文 参考訳（メタデータ） (2024-06-07T15:23:53Z) - LLM-R2: A Large Language Model Enhanced Rule-based Rewrite System for Boosting Query Efficiency [65.01402723259098]
本稿では,LLM-R2 という新しいクエリ書き換え手法を提案する。
実験結果から,本手法はクエリ実行効率を大幅に向上し,ベースライン法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-04-19T13:17:07Z) - The Surprising Effectiveness of Rankers Trained on Expanded Queries [4.874071145951159]
我々は,他のクエリのパフォーマンスを損なうことなく,難しいクエリや難しいクエリのランク付け性能を向上させる。
我々は,クエリ毎に推定されるクエリ性能スコアとともに,特殊ランク付け器と基本ランク付け器の関連性スコアを組み合わせる。
DL-Hardデータセットを用いた実験では,クエリ性能に基づくスコアリング手法が,パスランキングタスクにおいて最大25%の大幅な改善を実現していることがわかった。
論文 参考訳（メタデータ） (2024-04-03T09:12:22Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - Enhancing Conversational Search: Large Language Model-Aided Informative
Query Rewriting [42.35788605017555]
本稿では,大規模言語モデル(LLM)をクエリリフレクタとして利用することを提案する。
精巧な書き直しのための4つの重要な特性を定義し、それら全てをインストラクションに組み込む。
初期クエリの書き直しが可能な場合, LLM の書き直しエディタの役割を導入し, "書き直し-テーマ-編集" プロセスを作成する。
論文 参考訳（メタデータ） (2023-10-15T03:04:17Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:27:50Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳（メタデータ） (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。