論文の概要: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling
- arxiv url: http://arxiv.org/abs/2504.05216v3
- Date: Tue, 19 Aug 2025 09:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-20 15:36:31.443185
- Title: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling
- Title（参考訳）: クエリ類似モデリングによる高密度検索におけるLLMのパワーの解放
- Authors: Hengran Zhang, Keping Bi, Jiafeng Guo, Xiaojie Sun, Shihao Liu, Daiting Shi, Dawei Yin, Xueqi Cheng,
- Abstract要約: 本稿では,検索者の後続のコントラスト学習のためのバックボーンを強化するために,QLの補助的タスクを提案する。
注意ブロック(AB)と文書破壊(DC)の2つの重要なコンポーネントを組み込んだモデルを紹介します。
- 参考スコア（独自算出の注目度）: 69.84963245729826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dense retrieval is a crucial task in Information Retrieval (IR), serving as the basis for downstream tasks such as re-ranking and augmenting generation. Recently, large language models (LLMs) have demonstrated impressive semantic understanding capabilities, making them attractive to researchers focusing on dense retrieval. While LLMs, as decoder-style generative models, excel in language generation, they often fall short in modeling global information due to a lack of attention to subsequent tokens. Drawing inspiration from the classical word-based language modeling approach for IR, specifically the query likelihood (QL) model, we aim to leverage the generative strengths of LLMs through QL maximization. Rather than employing QL estimation for document ranking, we propose an auxiliary task of QL maximization to enhance the backbone for subsequent contrastive learning of the retriever. We introduce our model, LLM-QL, which incorporates two key components: Attention Block (AB) and Document Corruption (DC). AB blocks the attention of predictive tokens to the document tokens before the document's ending token, while DC corrupts a document by masking a portion of its tokens during prediction. Evaluations on the in-domain (MS MARCO) and out-of-domain dataset (BEIR) indicate LLM-QL's superiority over other LLM-based retrievers. Furthermore, comprehensive analyses also validate the efficacy of LLM-QL and its components.
- Abstract（参考訳）: デンス検索は情報検索(IR)において重要な課題であり、更新や拡張といった下流タスクの基盤となる。
近年,大規模言語モデル (LLM) は印象的な意味理解能力を示し,高密度検索に着目した研究者にとって魅力的なものとなっている。
LLMは、デコーダスタイルの生成モデルとして言語生成に優れるが、後続のトークンへの注意の欠如により、グローバルな情報のモデリングに不足することが多い。
IRのための古典的な単語ベース言語モデリングアプローチ、特にクエリ可能性(QL)モデルからインスピレーションを得て、QLの最大化を通じてLLMの生成強度を活用することを目指している。
ドキュメントランキングにQL推定を用いる代わりに、検索者のコントラスト学習のためのバックボーンを強化するために、QL最大化の補助タスクを提案する。
当社のモデルであるLLM-QLでは,注意ブロック(AB)とドキュメント破壊(DC)という,2つの重要なコンポーネントが組み込まれています。
ABは文書の終了トークンの前に文書トークンに対する予測トークンの注意を遮断し、DCは予測中にそのトークンの一部を隠蔽することで文書を破損させる。
イン・ドメイン(MS MARCO)とアウト・オブ・ドメイン・データセット(BEIR)の評価は、LLM-QLが他のLLMベースのレトリバーよりも優れていることを示している。
さらに、LLM-QLとそのコンポーネントの有効性を総合分析により検証した。
関連論文リスト
- SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection [81.78173888579941]
大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。
LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。
本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
論文 参考訳（メタデータ） (2025-07-18T12:28:08Z) - Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。
エージェント検索フレームワークであるEXSEARCHを提案する。
4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2025-05-26T15:27:55Z) - LLM-QE: Improving Query Expansion by Aligning Large Language Models with Ranking Preferences [21.777817032607405]
本稿では,Lumge Language Models (LLM) を利用して文書ベースのクエリ拡張を生成する新しいアプローチ LLM-QE を紹介する。
ゼロショット高密度検索モデルであるContrieverの実験は、LLM-QEの有効性を実証し、8%以上の改善を実現した。
LLM-QEは、高密度レトリバーのトレーニングプロセスも改善し、微調整後の5%以上の改善を実現している。
論文 参考訳（メタデータ） (2025-02-24T11:15:41Z) - Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
Instruct-LFはゴール指向の潜在因子発見システムである。
命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
論文 参考訳（メタデータ） (2025-02-21T02:03:08Z) - NAT-NL2GQL: A Novel Multi-Agent Framework for Translating Natural Language to Graph Query Language [13.661054027428868]
自然言語をグラフクエリ言語に変換する新しいフレームワークであるNAT-NL2GQLを提案する。
私たちのフレームワークは、プリプロセッサエージェント、ジェネレータエージェント、Refinerエージェントの3つの相乗的エージェントで構成されています。
nGQL構文に基づく高品質なオープンソースNL2GQLデータセットの不足を踏まえ、金融市場グラフデータベースから構築されたデータセットであるStockGQLを開発した。
論文 参考訳（メタデータ） (2024-12-11T04:14:09Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - Assessing SPARQL capabilities of Large Language Models [0.0]
我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。
LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。
この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
論文 参考訳（メタデータ） (2024-09-09T08:29:39Z) - LLM-PQA: LLM-enhanced Prediction Query Answering [7.346989832385652]
本稿では,自然言語で表現された予測クエリに対処する新しいツール LLM-PQA を紹介する。
この統合により、ユーザは多様な異種データと多様なMLモデルにアクセスでき、動的予測クエリ応答が容易になる。
論文 参考訳（メタデータ） (2024-09-02T10:20:35Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-14T01:38:02Z) - Description-Based Text Similarity [59.552704474862004]
我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。
そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
論文 参考訳（メタデータ） (2023-05-21T17:14:31Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳（メタデータ） (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。