論文の概要: How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models

• arxiv url: http://arxiv.org/abs/2508.16757v1
• Date: Fri, 22 Aug 2025 19:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.163371
• Title: How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models
• Title（参考訳）: LLMベースのリランカーはどのくらい良いか? : 最先端リグレードモデルの実証分析
• Authors: Abdelrahman Abdallah, Bhawna Piryani, Jamshid Mozafari, Mohammed Ali, Adam Jatowt,
• Abstract要約: 我々は,大規模言語モデル(LLM)に基づく,軽量なコンテクストとゼロショットアプローチを含む,最先端のリグレード手法の評価を行った。 我々の第一の目的は、LLMベースのリランカと軽量なリランカの間に性能格差が存在するかどうか、制御と公正な比較によって決定することである。
• 参考スコア（独自算出の注目度）: 24.90505576458548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present a systematic and comprehensive empirical evaluation of state-of-the-art reranking methods, encompassing large language model (LLM)-based, lightweight contextual, and zero-shot approaches, with respect to their performance in information retrieval tasks. We evaluate in total 22 methods, including 40 variants (depending on used LLM) across several established benchmarks, including TREC DL19, DL20, and BEIR, as well as a novel dataset designed to test queries unseen by pretrained models. Our primary goal is to determine, through controlled and fair comparisons, whether a performance disparity exists between LLM-based rerankers and their lightweight counterparts, particularly on novel queries, and to elucidate the underlying causes of any observed differences. To disentangle confounding factors, we analyze the effects of training data overlap, model architecture, and computational efficiency on reranking performance. Our findings indicate that while LLM-based rerankers demonstrate superior performance on familiar queries, their generalization ability to novel queries varies, with lightweight models offering comparable efficiency. We further identify that the novelty of queries significantly impacts reranking effectiveness, highlighting limitations in existing approaches. https://github.com/DataScienceUIBK/llm-reranking-generalization-study
• Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)に基づく,軽量な文脈的,ゼロショット的アプローチを包括的に包括的かつ包括的に評価し,情報検索における性能について述べる。 TREC DL19, DL20, BEIRなど, 確立されたベンチマークにまたがる40の変種(LLMに依存している)を含む合計22の手法と, 事前訓練されたモデルで見つからないクエリをテストするための新しいデータセットについて検討した。 我々の第一の目標は、制御された公正な比較を通じて、LLMベースのリランカと、特に新しいクエリ上での軽量なリランカの間に性能格差が存在するかどうかを判断し、観察された違いの根本原因を解明することである。 本研究では,学習データの重なり合い,モデルアーキテクチャ,計算効率が性能に与える影響を解析する。 以上の結果から, LLM を用いたリランカは, クェリに対して優れた性能を示すが, クエリを新規化するための一般化能力は様々であり, 軽量モデルでは同等の効率が期待できることがわかった。 さらに、クエリの新規性は、既存のアプローチの制限を強調して、有効性の再評価に大きな影響を及ぼすと確認する。 https://github.com/DataScienceUIBK/llm-re rank- generalization-study

関連論文リスト

• Data-efficient Meta-models for Evaluation of Context-based Questions and Answers in LLMs [1.6332728502735252]
  大規模言語モデル(LLM)とレトリーバル拡張生成(RAG)システムは、産業アプリケーションにますます多くデプロイされている。 その信頼性は、幻覚検出の課題によって妨げられている。 本稿では,データアノテーションのボトルネックを,トレーニングデータ要件の低減の可能性を検討することによって解決する。
  論文  参考訳（メタデータ） (2025-05-29T09:50:56Z)
• LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
  データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。 In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。 本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
  論文  参考訳（メタデータ） (2025-04-21T11:11:07Z)
• Forget What You Know about LLMs Evaluations - LLMs are Like a Chameleon [11.753349115726952]
  大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見えるが、これらの高いスコアはデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。 本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。 セマンティックコンテンツやラベルを保存しながら入力をリフレッシュすることで、C-BODはモデルのパフォーマンスが記憶パターンによって駆動されるかどうかを明らかにする。
  論文  参考訳（メタデータ） (2025-02-11T10:43:36Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• ICLERB: In-Context Learning Embedding and Reranker Benchmark [45.40331863265474]
  In-Context Learning (ICL)により、大規模言語モデルでは、関連する情報でプロンプトを条件付けすることで、新しいタスクを実行できる。 従来の検索手法は意味的関連性を重視し,検索を探索問題として扱う。 ICLタスクの効用を最大化する文書を選択することを目的としたレコメンデーション問題として、ICLのリフレーミング検索を提案する。
  論文  参考訳（メタデータ） (2024-11-28T06:28:45Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Comprehensive Reassessment of Large-Scale Evaluation Outcomes in LLMs: A Multifaceted Statistical Approach [64.42462708687921]
  評価の結果、スケーリング、トレーニングタイプ、アーキテクチャなどの要因がLLMのパフォーマンスに大きな影響を与えていることが明らかになった。 本研究は, これらのLCMの徹底的な再検討に着手し, 現状評価手法における不整合性に着目した。 これには、ANOVA、Tukey HSDテスト、GAMM、クラスタリング技術などが含まれる。
  論文  参考訳（メタデータ） (2024-03-22T14:47:35Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。