論文の概要: Attention in Large Language Models Yields Efficient Zero-Shot Re-Rankers

• arxiv url: http://arxiv.org/abs/2410.02642v1
• Date: Thu, 3 Oct 2024 16:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:52:35.823565
• Title: Attention in Large Language Models Yields Efficient Zero-Shot Re-Rankers
• Title（参考訳）: ゼロショットリランカーの効率向上に寄与する大規模言語モデルの注意
• Authors: Shijie Chen, Bernal Jiménez Gutiérrez, Yu Su,
• Abstract要約: 大規模言語モデル(LLM)は、赤外線システムにおいてゼロショットの再ランク付けに人気がある。 本稿では,検索クエリによる注目パターンの変化を利用した,高精度かつ効率的な再ランク付け手法であるin-context re- rank (ICR)を提案する。 本研究は,テキスト生成を超越したオープンウェイトLCMの新たな利用方法を探究することを目的とする。
• 参考スコア（独自算出の注目度）: 7.6245627565464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information retrieval (IR) systems have played a vital role in modern digital life and have cemented their continued usefulness in this new era of generative AI via retrieval-augmented generation. With strong language processing capabilities and remarkable versatility, large language models (LLMs) have become popular choices for zero-shot re-ranking in IR systems. So far, LLM-based re-ranking methods rely on strong generative capabilities, which restricts their use to either specialized or powerful proprietary models. Given these restrictions, we ask: is autoregressive generation necessary and optimal for LLMs to perform re-ranking? We hypothesize that there are abundant signals relevant to re-ranking within LLMs that might not be used to their full potential via generation. To more directly leverage such signals, we propose in-context re-ranking (ICR), a novel method that leverages the change in attention pattern caused by the search query for accurate and efficient re-ranking. To mitigate the intrinsic biases in LLMs, we propose a calibration method using a content-free query. Due to the absence of generation, ICR only requires two ($O(1)$) forward passes to re-rank $N$ documents, making it substantially more efficient than generative re-ranking methods that require at least $O(N)$ forward passes. Our novel design also enables ICR to be applied to any LLM without specialized training while guaranteeing a well-formed ranking. Extensive experiments with two popular open-weight LLMs on standard single-hop and multi-hop information retrieval benchmarks show that ICR outperforms RankGPT while cutting the latency by more than 60% in practice. Through detailed analyses, we show that ICR's performance is specially strong on tasks that require more complex re-ranking signals. Our findings call for further exploration on novel ways of utilizing open-weight LLMs beyond text generation.
• Abstract（参考訳）: 情報検索(IR)システムは、現代のデジタル生活において重要な役割を担い、検索強化世代による新たな生成AIの時代において、その継続的な有用性を強化してきた。 強力な言語処理能力と優れた汎用性により、大きな言語モデル(LLM)はIRシステムにおいてゼロショットの再ランク付けに人気がある。 これまでのところ、LLMベースのリグレード手法は強力な生成能力に依存しており、特殊または強力なプロプライエタリなモデルに制限されている。 LLMが再ランク付けを行うためには、自己回帰生成が必要か、最適か? 我々は、LLM内での再ランク付けに関係する信号が豊富にあると仮定し、生成によってその潜在能力を最大限に発揮できない可能性があると仮定する。 このような信号をより直接的に活用するために,検索クエリによる注目パターンの変化を利用して,高精度かつ効率的に再分類するICR(In-context re- rank)を提案する。 LLMにおける固有バイアスを軽減するために,コンテントフリークエリを用いたキャリブレーション手法を提案する。 生成がないため、ICRは$N$ドキュメントを再ランクするために2(O(1)$)フォワードパスしか必要とせず、少なくとも$O(N)$フォワードパスを必要とする生成的再ランクメソッドよりもはるかに効率的である。 我々の新しい設計により、ICRは特別な訓練を受けずに、優れたランキングを保証しながら、どんなLLMにも適用できる。 標準シングルホップおよびマルチホップ情報検索ベンチマークにおける2つの人気のあるオープンウェイトLCMによる大規模な実験により、ICRは、実際に60%以上のレイテンシを削減しながら、RanGPTよりも優れた性能を示した。 より詳細な分析により、ICRの性能は、より複雑な再ランク信号を必要とするタスクに特に強いことを示す。 本研究は,テキスト生成を超越したオープンウェイトLCMの新たな利用方法を探究することを目的とする。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models [5.0490573482829335]
  大規模言語モデル(LLM)は、さまざまなゼロショット機能を備えた多種多様な自然言語処理タスクに革命をもたらしている。 本稿では、情報検索(IR)における通過前の事前フィルタリングステップの使用について検討する。 実験の結果, この事前フィルタリングにより, LLMは再ランクタスクにおいて, 性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T20:12:24Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• ReSLLM: Large Language Models are Strong Resource Selectors for Federated Search [35.44746116088232]
  フェデレーション検索は、Retrieval-Augmented Generationパイプラインのコンテキストにおいて、ますます重要になる。 現在のSOTA資源選択手法は特徴に基づく学習手法に依存している。 ゼロショット環境でのフェデレーション検索における資源選択を促進するために,ReSLLMを提案する。
  論文  参考訳（メタデータ） (2024-01-31T07:58:54Z)
• ReLLa: Retrieval-enhanced Large Language Models for Lifelong Sequential Behavior Comprehension in Recommendation [43.270424225285105]
  ゼロショットと少数ショットのレコメンデーションタスクのために、純粋に大きな言語モデルを適応し、強化することに重点を置いています。 ゼロショット設定と少数ショット設定の両方でレコメンデーションタスクを行うRetrieval-enhanced Large Language Model (ReLLa)を提案する。
  論文  参考訳（メタデータ） (2023-08-22T02:25:04Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。