論文の概要: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling

• arxiv url: http://arxiv.org/abs/2504.05216v1
• Date: Mon, 07 Apr 2025 16:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:20.960932
• Title: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling
• Title（参考訳）: クエリ類似モデリングによる高密度検索におけるLLMのパワーの解放
• Authors: Hengran Zhang, Keping Bi, Jiafeng Guo, Xiaojie Sun, Shihao Liu, Daiting Shi, Dawei Yin, Xueqi Cheng,
• Abstract要約: 大規模言語モデル(LLM)は魅力的な意味理解能力を示している。 デンス検索は情報検索(IR)において重要な課題であり、下流タスクを再びランク付けする基盤となっている。 我々は、差別的検索器のコントラスト学習のためのより良いバックボーンを得るために、QL推定の補助的タスクを導入する。
• 参考スコア（独自算出の注目度）: 69.84963245729826
• License:
• Abstract: Dense retrieval is a crucial task in Information Retrieval (IR) and is the foundation for downstream tasks such as re-ranking. Recently, large language models (LLMs) have shown compelling semantic understanding capabilities and are appealing to researchers studying dense retrieval. LLMs, as decoder-style generative models, are competent at language generation while falling short on modeling global information due to the lack of attention to tokens afterward. Inspired by the classical word-based language modeling approach for IR, i.e., the query likelihood (QL) model, we seek to sufficiently utilize LLMs' generative ability by QL maximization. However, instead of ranking documents with QL estimation, we introduce an auxiliary task of QL maximization to yield a better backbone for contrastively learning a discriminative retriever. We name our model as LLM-QL. To condense global document semantics to a single vector during QL modeling, LLM-QL has two major components, Attention Stop (AS) and Input Corruption (IC). AS stops the attention of predictive tokens to previous tokens until the ending token of the document. IC masks a portion of tokens in the input documents during prediction. Experiments on MSMARCO show that LLM-QL can achieve significantly better performance than other LLM-based retrievers and using QL estimated by LLM-QL for ranking outperforms word-based QL by a large margin.
• Abstract（参考訳）: デンス検索は情報検索(IR)において重要な課題であり、再ランク付けなどの下流タスクの基盤となっている。 近年,大規模言語モデル (LLM) は意味理解能力に優れており,高密度検索の研究者にアピールしている。 LLMはデコーダスタイルの生成モデルとして言語生成に優れており、その後トークンへの注意の欠如により、グローバルな情報のモデリングに不足している。 IRの古典的な単語ベース言語モデリングアプローチ、すなわちクエリ可能性(QL)モデルに着想を得て、我々はQLの最大化によりLLMの生成能力を十分に活用しようと試みている。 しかし、QL推定で文書をランク付けするのではなく、QL最大化の補助タスクを導入し、差別的検索器を対照的に学習するためのより良いバックボーンを得る。 私たちはモデルを LLM-QL と名付けます。 QLモデリング中にグローバルなドキュメントセマンティクスを単一のベクタにまとめるために、LLM-QLには、Attention Stop(AS)とInput Corruption(IC)の2つの主要なコンポーネントがある。 ASは、ドキュメントの終了トークンまで、以前のトークンに対する予測トークンの注意を停止する。 ICは、予測中に入力文書のトークンの一部をマスクする。 MSMARCOの実験では、LLM-QLは他のLLMベースのレトリバーよりも大幅にパフォーマンスが向上し、LLM-QLが見積もったQLをワードベースQLよりも大きなマージンでランク付けできることが示されている。

関連論文リスト

• NAT-NL2GQL: A Novel Multi-Agent Framework for Translating Natural Language to Graph Query Language [13.661054027428868]
  自然言語をグラフクエリ言語に変換する新しいフレームワークであるNAT-NL2GQLを提案する。 私たちのフレームワークは、プリプロセッサエージェント、ジェネレータエージェント、Refinerエージェントの3つの相乗的エージェントで構成されています。 nGQL構文に基づく高品質なオープンソースNL2GQLデータセットの不足を踏まえ、金融市場グラフデータベースから構築されたデータセットであるStockGQLを開発した。
  論文  参考訳（メタデータ） (2024-12-11T04:14:09Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• LLM-PQA: LLM-enhanced Prediction Query Answering [7.346989832385652]
  本稿では,自然言語で表現された予測クエリに対処する新しいツール LLM-PQA を紹介する。 この統合により、ユーザは多様な異種データと多様なMLモデルにアクセスでき、動的予測クエリ応答が容易になる。
  論文  参考訳（メタデータ） (2024-09-02T10:20:35Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。