論文の概要: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling

• arxiv url: http://arxiv.org/abs/2504.05216v2
• Date: Sat, 19 Apr 2025 13:16:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 12:41:46.125432
• Title: Unleashing the Power of LLMs in Dense Retrieval with Query Likelihood Modeling
• Title（参考訳）: クエリ類似モデリングによる高密度検索におけるLLMのパワーの解放
• Authors: Hengran Zhang, Keping Bi, Jiafeng Guo, Xiaojie Sun, Shihao Liu, Daiting Shi, Dawei Yin, Xueqi Cheng,
• Abstract要約: 大規模言語モデル(LLM)は魅力的な意味理解能力を示している。 デンス検索は情報検索(IR)において重要な課題であり、下流タスクを再びランク付けする基盤となっている。 我々は、差別的検索器のコントラスト学習のためのより良いバックボーンを得るために、QL推定の補助的タスクを導入する。
• 参考スコア（独自算出の注目度）: 69.84963245729826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrieval is a crucial task in Information Retrieval (IR) and is the foundation for downstream tasks such as re-ranking. Recently, large language models (LLMs) have shown compelling semantic understanding capabilities and are appealing to researchers studying dense retrieval. LLMs, as decoder-style generative models, are competent at language generation while falling short on modeling global information due to the lack of attention to tokens afterward. Inspired by the classical word-based language modeling approach for IR, i.e., the query likelihood (QL) model, we seek to sufficiently utilize LLMs' generative ability by QL maximization. However, instead of ranking documents with QL estimation, we introduce an auxiliary task of QL maximization to yield a better backbone for contrastively learning a discriminative retriever. We name our model as LLM-QL. To condense global document semantics to a single vector during QL modeling, LLM-QL has two major components, Attention Stop (AS) and Input Corruption (IC). AS stops the attention of predictive tokens to previous tokens until the ending token of the document. IC masks a portion of tokens in the input documents during prediction. Experiments on MSMARCO show that LLM-QL can achieve significantly better performance than other LLM-based retrievers and using QL estimated by LLM-QL for ranking outperforms word-based QL by a large margin.
• Abstract（参考訳）: デンス検索は情報検索(IR)において重要な課題であり、再ランク付けなどの下流タスクの基盤となっている。 近年,大規模言語モデル (LLM) は意味理解能力に優れており,高密度検索の研究者にアピールしている。 LLMはデコーダスタイルの生成モデルとして言語生成に優れており、その後トークンへの注意の欠如により、グローバルな情報のモデリングに不足している。 IRの古典的な単語ベース言語モデリングアプローチ、すなわちクエリ可能性(QL)モデルに着想を得て、我々はQLの最大化によりLLMの生成能力を十分に活用しようと試みている。 しかし、QL推定で文書をランク付けするのではなく、QL最大化の補助タスクを導入し、差別的検索器を対照的に学習するためのより良いバックボーンを得る。 私たちはモデルを LLM-QL と名付けます。 QLモデリング中にグローバルなドキュメントセマンティクスを単一のベクタにまとめるために、LLM-QLには、Attention Stop(AS)とInput Corruption(IC)の2つの主要なコンポーネントがある。 ASは、ドキュメントの終了トークンまで、以前のトークンに対する予測トークンの注意を停止する。 ICは、予測中に入力文書のトークンの一部をマスクする。 MSMARCOの実験では、LLM-QLは他のLLMベースのレトリバーよりも大幅にパフォーマンスが向上し、LLM-QLが見積もったQLをワードベースQLよりも大きなマージンでランク付けできることが示されている。

関連論文リスト

• LLM-QE: Improving Query Expansion by Aligning Large Language Models with Ranking Preferences [21.777817032607405]
  本稿では,Lumge Language Models (LLM) を利用して文書ベースのクエリ拡張を生成する新しいアプローチ LLM-QE を紹介する。 ゼロショット高密度検索モデルであるContrieverの実験は、LLM-QEの有効性を実証し、8%以上の改善を実現した。 LLM-QEは、高密度レトリバーのトレーニングプロセスも改善し、微調整後の5%以上の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-24T11:15:41Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• NAT-NL2GQL: A Novel Multi-Agent Framework for Translating Natural Language to Graph Query Language [13.661054027428868]
  自然言語をグラフクエリ言語に変換する新しいフレームワークであるNAT-NL2GQLを提案する。 私たちのフレームワークは、プリプロセッサエージェント、ジェネレータエージェント、Refinerエージェントの3つの相乗的エージェントで構成されています。 nGQL構文に基づく高品質なオープンソースNL2GQLデータセットの不足を踏まえ、金融市場グラフデータベースから構築されたデータセットであるStockGQLを開発した。
  論文  参考訳（メタデータ） (2024-12-11T04:14:09Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• LLM-PQA: LLM-enhanced Prediction Query Answering [7.346989832385652]
  本稿では,自然言語で表現された予測クエリに対処する新しいツール LLM-PQA を紹介する。 この統合により、ユーザは多様な異種データと多様なMLモデルにアクセスでき、動的予測クエリ応答が容易になる。
  論文  参考訳（メタデータ） (2024-09-02T10:20:35Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。