論文の概要: LLM-QE: Improving Query Expansion by Aligning Large Language Models with Ranking Preferences

• arxiv url: http://arxiv.org/abs/2502.17057v2
• Date: Thu, 27 Feb 2025 06:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 11:31:43.932273
• Title: LLM-QE: Improving Query Expansion by Aligning Large Language Models with Ranking Preferences
• Title（参考訳）: LLM-QE: ランク付け優先度付き大規模言語モデルのアライメントによるクエリ拡張の改善
• Authors: Sijia Yao, Pengcheng Huang, Zhenghao Liu, Yu Gu, Yukun Yan, Shi Yu, Ge Yu,
• Abstract要約: 本稿では,Lumge Language Models (LLM) を利用して文書ベースのクエリ拡張を生成する新しいアプローチ LLM-QE を紹介する。 ゼロショット高密度検索モデルであるContrieverの実験は、LLM-QEの有効性を実証し、8%以上の改善を実現した。 LLM-QEは、高密度レトリバーのトレーニングプロセスも改善し、微調整後の5%以上の改善を実現している。
• 参考スコア（独自算出の注目度）: 21.777817032607405
• License:
• Abstract: Query expansion plays a crucial role in information retrieval, which aims to bridge the semantic gap between queries and documents to improve matching performance. This paper introduces LLM-QE, a novel approach that leverages Large Language Models (LLMs) to generate document-based query expansions, thereby enhancing dense retrieval models. Unlike traditional methods, LLM-QE designs both rank-based and answer-based rewards and uses these reward models to optimize LLMs to align with the ranking preferences of both retrievers and LLMs, thus mitigating the hallucination of LLMs during query expansion. Our experiments on the zero-shot dense retrieval model, Contriever, demonstrate the effectiveness of LLM-QE, achieving an improvement of over 8%. Furthermore, by incorporating answer-based reward modeling, LLM-QE generates more relevant and precise information related to the documents, rather than simply producing redundant tokens to maximize rank-based rewards. Notably, LLM-QE also improves the training process of dense retrievers, achieving a more than 5% improvement after fine-tuning. All codes are available at https://github.com/NEUIR/LLM-QE.
• Abstract（参考訳）: クエリ拡張は、クエリとドキュメント間のセマンティックギャップを埋めて、マッチングパフォーマンスを改善することを目的として、情報検索において重要な役割を果たす。 本稿では, LLM-QEを提案する。Large Language Models (LLMs) を利用して文書ベースのクエリ拡張を生成し, より高密度な検索モデルを構築する。 従来の方法とは異なり、LLM-QEはランクベースと回答ベースの両方の報酬を設計し、これらの報酬モデルを使用してLLMを最適化し、クエリ拡張時のLLMの幻覚を軽減する。 ゼロショット高密度検索モデルであるContrieverの実験により, LLM-QEの有効性が実証され, 8%以上の改善が得られた。 さらに、回答に基づく報酬モデリングを取り入れることで、LCM-QEは、ランクベースの報酬を最大化するために単に冗長トークンを生成するのではなく、文書に関するより関連性の高い正確な情報を生成する。 特にLLM-QEは、高密度レトリバーのトレーニングプロセスも改善し、微調整後の5%以上の改善を実現している。 すべてのコードはhttps://github.com/NEUIR/LLM-QEで入手できる。

関連論文リスト

• Lost in Sequence: Do Large Language Models Understand Sequential Recommendation? [33.92662524009036]
  大きな言語モデル(LLM)は、高度なテキスト理解能力とコンテキスト認識のおかげで、推奨のための有望なツールとして登場した。 本稿では,事前学習したSRecモデルから抽出したユーザ表現をLLMに蒸留することにより,LLMへのシーケンシャル情報の統合を向上する手法を提案する。 実験の結果, LLM-SRecは, ユーザの項目間相互作用の系列を理解する能力を高め, 最終的にレコメンデーション性能の向上につながることがわかった。
  論文  参考訳（メタデータ） (2025-02-19T17:41:09Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• LLM4PR: Improving Post-Ranking in Search Engine with Large Language Models [9.566432486156335]
  検索エンジンにおける後処理のための大規模言語モデル(LLM4PR) 検索エンジン(LLM4PR)におけるポストランキングのための大規模言語モデル(Large Language Models for Post-Ranking)という新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-11-02T08:36:16Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• LLMRec: Benchmarking Large Language Models on Recommendation Task [54.48899723591296]
  推奨領域におけるLarge Language Models (LLMs) の適用について, 十分に検討されていない。 我々は、評価予測、シーケンシャルレコメンデーション、直接レコメンデーション、説明生成、レビュー要約を含む5つのレコメンデーションタスクにおいて、市販のLLMをベンチマークする。 ベンチマークの結果,LLMは逐次的・直接的推薦といった精度に基づくタスクにおいて適度な熟練度しか示さないことがわかった。
  論文  参考訳（メタデータ） (2023-08-23T16:32:54Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。