論文の概要: The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination

• arxiv url: http://arxiv.org/abs/2604.05766v1
• Date: Tue, 07 Apr 2026 12:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.804804
• Title: The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination
• Title（参考訳）: IRベンチマークにおけるLCM効果:有効性・ベースライン・汚染のメタ分析
• Authors: Moritz Staudinger, Wojciech Kusa, Allan Hanbury,
• Abstract要約: TREC Robust04 コレクションと TREC Deep Learning 2020 (DL20) パス検索ベンチマークを用いて,143 のパブリッシュ結果の分析を行った。 LLM コンポーネントを組み込んだ最近のシステムは TREC 2020 の結果と比較して DL20 では nDCG@10 が 8.8% 高く、2023 年以降では Robust04 では 20% 高い。
• 参考スコア（独自算出の注目度）: 6.8607636387431254
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Benchmark collections have long enabled controlled comparison and cumulative progress in Information Retrieval (IR). However, prior meta-analyses have shown that reported effectiveness gains often fail to accumulate, in part due to the use of weak or outdated baselines. While large language models are increasingly used in retrieval pipelines, their impact on established IR benchmarks has not been systematically analyzed. In this study, we analyze 143 publications reporting results on the TREC Robust04 collection and the TREC Deep Learning 2020 (DL20) passage retrieval benchmark to examine longitudinal trends in retrieval effectiveness and baseline strength. We observe what we term an \emph{LLM effect}: recent systems incorporating LLM components achieve 8.8\% higher nDCG@10 on DL20 compared to the best result from TREC 2020 and approximately 20\% higher on Robust04 since 2023. However, adapting a data contamination detection approach to reranking reveals measurable contamination in both benchmarks. While excluding contaminated topics reduces effectiveness, confidence intervals remain wide, making it difficult to determine whether the LLM effect reflects genuine methodological advances or memorization from pretraining data.
• Abstract（参考訳）: ベンチマークコレクションは、長い間、情報検索(IR)における制御された比較と累積的な進歩を可能にしてきた。 しかし、以前のメタ分析では、報告された効果がしばしば蓄積されないことが示されている。 大規模な言語モデルが検索パイプラインでますます使われている一方で、確立されたIRベンチマークへの影響は体系的に分析されていない。 本研究では,TREC Robust04 コレクションと TREC Deep Learning 2020 (DL20) パス検索ベンチマークを用いて,検索効率とベースライン強度の経年的傾向を解析した。 LLM コンポーネントを組み込んだ最近のシステムは TREC 2020 の最高値よりも DL20 上で 8.8 % 高い nDCG@10 を達成し,2023 年以降の Robust04 よりも約 20 % 高い結果を得た。 しかし、データ汚染検出手法を再評価に適用すると、両方のベンチマークで測定可能な汚染が明らかになる。 汚染されたトピックを除くと有効性が低下するが、信頼区間は広く、LCM効果が真の方法論的進歩を反映しているか、事前学習データから記憶するかを判断することは困難である。

関連論文リスト

• When retrieval outperforms generation: Dense evidence retrieval for scalable fake news detection [1.329253775274691]
  DeReCは、汎用的なテキスト埋め込みが、実際に検証タスクにおいて、自動回帰LPMベースのアプローチを効果的に置き換える方法について、軽量なフレームワークである。 本システムでは,高密度検索と特殊分類を組み合わせることにより,精度が向上し,効率も向上した。 この結果から, 検索システムでは, 特定のタスクにおいて, LLMの性能に適合したり, 上回ったりできることが示された。
  論文  参考訳（メタデータ） (2025-11-06T18:35:45Z)
• How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models [24.90505576458548]
  我々は,大規模言語モデル(LLM)に基づく,軽量なコンテクストとゼロショットアプローチを含む,最先端のリグレード手法の評価を行った。 我々の第一の目的は、LLMベースのリランカと軽量なリランカの間に性能格差が存在するかどうか、制御と公正な比較によって決定することである。
  論文  参考訳（メタデータ） (2025-08-22T19:30:04Z)
• Sequential-NIAH: A Needle-In-A-Haystack Benchmark for Extracting Sequential Needles from Long Contexts [20.901983944214532]
  本研究では,長期の文脈から逐次情報を抽出する大規模言語モデルの能力を評価するためのベンチマークであるSequential-NIAHを紹介する。 ベンチマークには3つの針生成パイプラインが含まれている: 合成時間、実時間、実時間、実時間、コンテキストの長さは8Kから128Kである。 我々は6つのよく知られたLCM実験を行い、最も優れたモデルでさえ、このベンチマークのテストセットで63.50%の最大精度を達成できたことを明らかにした。
  論文  参考訳（メタデータ） (2025-04-07T03:50:12Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• Training Strategies for Improved Lip-reading [61.661446956793604]
  本研究では,最先端データ拡張手法,時間モデル,その他のトレーニング戦略の性能について検討する。 すべての手法を組み合わせると、分類精度は93.4%となり、現在の最先端技術よりも4.6%向上した。 各種学習手法の誤り解析により, 難解な単語の分類精度を高めることにより, 性能が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-03T09:38:11Z)
• Filter Drug-induced Liver Injury Literature with Natural Language Processing and Ensemble Learning [0.0]
  薬物性肝障害 (DILI) は、肝臓を損傷する薬物の副作用である。 重度DILI症例では肝不全や死亡などの生命予後も報告された。 過去の出版物からのデータ抽出は手動ラベリングに大きく依存している。 バイオメディカルテキストの自動処理を可能にする人工知能の最近の進歩
  論文  参考訳（メタデータ） (2022-03-09T23:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。