論文の概要: Ranked List Truncation for Large Language Model-based Re-Ranking

• arxiv url: http://arxiv.org/abs/2404.18185v1
• Date: Sun, 28 Apr 2024 13:39:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 17:33:28.872974
• Title: Ranked List Truncation for Large Language Model-based Re-Ranking
• Title（参考訳）: 大規模言語モデルに基づくRe-Rankingのためのランク付きリストトランケーション
• Authors: Chuan Meng, Negar Arabzadeh, Arian Askari, Mohammad Aliannejadi, Maarten de Rijke,
• Abstract要約: そこで我々は,検索したリストを検索することでランク付けを最適化する新しい"retrieve-then-re-rank"視点からランク付けリストトランケーション(RLT)について検討した。 RLTは、可変長候補リストをリランカに送信することで、再ランク効率を向上させることができるため、再ランク付けには不可欠である。 既存の RLT メソッドを,特に新たに登場した大規模言語モデル (LLM) に基づく再ランクの文脈で再現する。
• 参考スコア（独自算出の注目度）: 53.97064615557883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study ranked list truncation (RLT) from a novel "retrieve-then-re-rank" perspective, where we optimize re-ranking by truncating the retrieved list (i.e., trim re-ranking candidates). RLT is crucial for re-ranking as it can improve re-ranking efficiency by sending variable-length candidate lists to a re-ranker on a per-query basis. It also has the potential to improve re-ranking effectiveness. Despite its importance, there is limited research into applying RLT methods to this new perspective. To address this research gap, we reproduce existing RLT methods in the context of re-ranking, especially newly emerged large language model (LLM)-based re-ranking. In particular, we examine to what extent established findings on RLT for retrieval are generalizable to the "retrieve-then-re-rank" setup from three perspectives: (i) assessing RLT methods in the context of LLM-based re-ranking with lexical first-stage retrieval, (ii) investigating the impact of different types of first-stage retrievers on RLT methods, and (iii) investigating the impact of different types of re-rankers on RLT methods. We perform experiments on the TREC 2019 and 2020 deep learning tracks, investigating 8 RLT methods for pipelines involving 3 retrievers and 2 re-rankers. We reach new insights into RLT methods in the context of re-ranking.
• Abstract（参考訳）: そこで我々は,検索したリスト(トリム再ランク候補)をトラクタリングすることで,ランキングの再ランク化を最適化する新しい「検索・テーマ・再ランク」視点からランキングリストトランケーション(RLT)について検討した。 RLTは、可変長候補リストをクエリ毎に再ランク付けすることで、再ランク付け効率を向上させるため、再ランク付けには不可欠である。 また、再評価の有効性も向上する可能性がある。 その重要性にもかかわらず、この新たな視点にRLT法を適用する研究は限られている。 この研究ギャップに対処するため、我々は既存のRTL手法を再ランク付けの文脈で再現し、特に新たに登場した大規模言語モデル(LLM)をベースとした再ランク付けを行う。 特に,検索のためのRLTの確立された結果が,3つの視点から「検索-then-re-rank」設定に一般化可能であるかを検討する。 一 語彙第一段検索によるLLMに基づく再ランク付けの文脈におけるRLT手法の評価 (II)RLT法における各種第1段レトリバーの影響と評価 3) RLT法における異なる種類のリランカーの影響について検討した。 TREC 2019と2020のディープラーニングトラックで実験を行い、3つのレトリバーと2つの再ランカを含むパイプラインの8つのRTT手法を調査した。 再ランク付けの文脈において, RLT法に関する新たな知見を得る。

関連論文リスト

• Attention in Large Language Models Yields Efficient Zero-Shot Re-Rankers [7.6245627565464]
  大規模言語モデル(LLM)は、赤外線システムにおいてゼロショットの再ランク付けに人気がある。 本稿では,検索クエリによる注目パターンの変化を利用した,高精度かつ効率的な再ランク付け手法であるin-context re- rank (ICR)を提案する。 本研究は,テキスト生成を超越したオープンウェイトLCMの新たな利用方法を探究することを目的とする。
  論文  参考訳（メタデータ） (2024-10-03T16:25:37Z)
• Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models [5.0490573482829335]
  大規模言語モデル(LLM)は、さまざまなゼロショット機能を備えた多種多様な自然言語処理タスクに革命をもたらしている。 本稿では、情報検索(IR)における通過前の事前フィルタリングステップの使用について検討する。 実験の結果, この事前フィルタリングにより, LLMは再ランクタスクにおいて, 性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T20:12:24Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning [52.49786369812919]
  本稿では,サンプリング視点をトラジェクトリに拡張するメモリ技術である(Prioritized) Trajectory Replay (TR/PTR)を提案する。 TRは、その後の状態情報の使用を最適化するトラジェクトリの後方サンプリングによって学習効率を向上させる。 D4RL上の既存のオフラインRLアルゴリズムとTRとPTRを統合する利点を実証する。
  論文  参考訳（メタデータ） (2023-06-27T14:29:44Z)
• Can Continual Learning Improve Long-Tailed Recognition? Toward a Unified Framework [16.457778420360537]
  長大認識法は,より大きい頭部セットと小さいテールセットの両方からなるデータセットを正確に学習することを目的としている。 本研究では,学習者の重みを効果的に更新し,頭部を忘れずにタイルを学習できることを示す。 また,自然に不均衡な256データセット上でCLを探索することにより,実世界のデータに対するCL手法の適用性を評価する。
  論文  参考訳（メタデータ） (2023-06-23T03:05:33Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。