論文の概要: The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination

• arxiv url: http://arxiv.org/abs/2604.05766v1
• Date: Tue, 07 Apr 2026 12:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.804804
• Title: The LLM Effect on IR Benchmarks: A Meta-Analysis of Effectiveness, Baselines, and Contamination
• Title（参考訳）: IRベンチマークにおけるLCM効果:有効性・ベースライン・汚染のメタ分析
• Abstract要約: TREC Robust04 コレクションと TREC Deep Learning 2020 (DL20) パス検索ベンチマークを用いて,143 のパブリッシュ結果の分析を行った。 LLM コンポーネントを組み込んだ最近のシステムは TREC 2020 の結果と比較して DL20 では nDCG@10 が 8.8% 高く、2023 年以降では Robust04 では 20% 高い。
• 参考スコア（独自算出の注目度）: 6.8607636387431254
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Benchmark collections have long enabled controlled comparison and cumulative progress in Information Retrieval (IR). However, prior meta-analyses have shown that reported effectiveness gains often fail to accumulate, in part due to the use of weak or outdated baselines. While large language models are increasingly used in retrieval pipelines, their impact on established IR benchmarks has not been systematically analyzed. In this study, we analyze 143 publications reporting results on the TREC Robust04 collection and the TREC Deep Learning 2020 (DL20) passage retrieval benchmark to examine longitudinal trends in retrieval effectiveness and baseline strength. We observe what we term an \emph{LLM effect}: recent systems incorporating LLM components achieve 8.8\% higher nDCG@10 on DL20 compared to the best result from TREC 2020 and approximately 20\% higher on Robust04 since 2023. However, adapting a data contamination detection approach to reranking reveals measurable contamination in both benchmarks. While excluding contaminated topics reduces effectiveness, confidence intervals remain wide, making it difficult to determine whether the LLM effect reflects genuine methodological advances or memorization from pretraining data.
• Abstract（参考訳）: ベンチマークコレクションは、長い間、情報検索(IR)における制御された比較と累積的な進歩を可能にしてきた。 しかし、以前のメタ分析では、報告された効果がしばしば蓄積されないことが示されている。 大規模な言語モデルが検索パイプラインでますます使われている一方で、確立されたIRベンチマークへの影響は体系的に分析されていない。 本研究では,TREC Robust04 コレクションと TREC Deep Learning 2020 (DL20) パス検索ベンチマークを用いて,検索効率とベースライン強度の経年的傾向を解析した。 LLM コンポーネントを組み込んだ最近のシステムは TREC 2020 の最高値よりも DL20 上で 8.8 % 高い nDCG@10 を達成し,2023 年以降の Robust04 よりも約 20 % 高い結果を得た。 しかし、データ汚染検出手法を再評価に適用すると、両方のベンチマークで測定可能な汚染が明らかになる。 汚染されたトピックを除くと有効性が低下するが、信頼区間は広く、LCM効果が真の方法論的進歩を反映しているか、事前学習データから記憶するかを判断することは困難である。

関連論文リスト

• Benchmarking LLM Agents on Meta-Analysis Articles from Nature Portfolio [30.68853022964377]
  我々はNature Portfolio誌から442名の専門家によるメタアナリシスのデータセットであるMetaSynを紹介する。 各エントリは、PI/ECO基準、140k項目の検索コーパス、実証された肯定的な研究、相対的に類似しているがPI/ECOは無視できない硬い負の2つの研究課題をペアリングする。 K=200では90.9%のリコールがあったが、52.7%以上の文献を復元するシステムはない。
  論文  参考訳（メタデータ） (2026-06-15T17:56:41Z)
• TimeSRL: Generalizable Time-Series Behavioral Modeling via Semantic RL-Tuned LLMs -- A Case Study in Mental Health [10.41600839007471]
  TimeSRLは、明示的なセマンティックボトルネックを通じて予測をルーティングするフレームワークである。 クロスコホート一般化をストレステストするために設計されたベンチマーク上で、最先端のパフォーマンスを実現する。 TimeSRLは、異なるセンサーパイプライン間でのクロスベンチマーク転送において、従来の方法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-05-20T15:25:46Z)
• Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
  プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。 本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。 本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T09:00:30Z)
• A Metamorphic Testing Approach to Diagnosing Memorization in LLM-Based Program Repair [9.198826017433388]
  大規模言語モデル(LLM)は、評価ベンチマークが事前トレーニングデータと重なり合うとバグ修正を記憶し、パフォーマンスの見積もりが膨らむ。 メタモルフィックテスト (MT) と負の対数類似度 (NLL) を組み合わせることにより, データの漏洩を明らかにすることができるかを検討する。 以上の結果から,GPT-4oでは4.1%,Llama-3.1では15.98%と,パッチ生成率の大幅な低下が認められた。
  論文  参考訳（メタデータ） (2026-04-23T11:59:53Z)
• LLM-Extracted Covariates for Clinical Causal Inference: Rethinking Integration Strategies [7.5675661390024125]
  電子的健康記録からの因果推論は、測定されていないコンバウンディングによって根本的に制限される。 我々は、潜伏した共同ファウンダーを因果推定パイプラインに効果的に統合する方法を示す。
  論文  参考訳（メタデータ） (2026-04-18T00:26:10Z)
• When retrieval outperforms generation: Dense evidence retrieval for scalable fake news detection [1.329253775274691]
  DeReCは、汎用的なテキスト埋め込みが、実際に検証タスクにおいて、自動回帰LPMベースのアプローチを効果的に置き換える方法について、軽量なフレームワークである。 本システムでは,高密度検索と特殊分類を組み合わせることにより,精度が向上し,効率も向上した。 この結果から, 検索システムでは, 特定のタスクにおいて, LLMの性能に適合したり, 上回ったりできることが示された。
  論文  参考訳（メタデータ） (2025-11-06T18:35:45Z)
• How Good are LLM-based Rerankers? An Empirical Analysis of State-of-the-Art Reranking Models [24.90505576458548]
  我々は,大規模言語モデル(LLM)に基づく,軽量なコンテクストとゼロショットアプローチを含む,最先端のリグレード手法の評価を行った。 我々の第一の目的は、LLMベースのリランカと軽量なリランカの間に性能格差が存在するかどうか、制御と公正な比較によって決定することである。
  論文  参考訳（メタデータ） (2025-08-22T19:30:04Z)
• Sequential-NIAH: A Needle-In-A-Haystack Benchmark for Extracting Sequential Needles from Long Contexts [20.901983944214532]
  本研究では,長期の文脈から逐次情報を抽出する大規模言語モデルの能力を評価するためのベンチマークであるSequential-NIAHを紹介する。 ベンチマークには3つの針生成パイプラインが含まれている: 合成時間、実時間、実時間、実時間、コンテキストの長さは8Kから128Kである。 我々は6つのよく知られたLCM実験を行い、最も優れたモデルでさえ、このベンチマークのテストセットで63.50%の最大精度を達成できたことを明らかにした。
  論文  参考訳（メタデータ） (2025-04-07T03:50:12Z)
• Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
  大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。 1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。 我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
  論文  参考訳（メタデータ） (2025-02-06T18:59:11Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Training Strategies for Improved Lip-reading [61.661446956793604]
  本研究では,最先端データ拡張手法,時間モデル,その他のトレーニング戦略の性能について検討する。 すべての手法を組み合わせると、分類精度は93.4%となり、現在の最先端技術よりも4.6%向上した。 各種学習手法の誤り解析により, 難解な単語の分類精度を高めることにより, 性能が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-03T09:38:11Z)
• Filter Drug-induced Liver Injury Literature with Natural Language Processing and Ensemble Learning [0.0]
  薬物性肝障害 (DILI) は、肝臓を損傷する薬物の副作用である。 重度DILI症例では肝不全や死亡などの生命予後も報告された。 過去の出版物からのデータ抽出は手動ラベリングに大きく依存している。 バイオメディカルテキストの自動処理を可能にする人工知能の最近の進歩
  論文  参考訳（メタデータ） (2022-03-09T23:53:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。