論文の概要: LLM-Confidence Reranker: A Training-Free Approach for Enhancing Retrieval-Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2602.13571v1
• Date: Sat, 14 Feb 2026 03:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 14:17:28.210965
• Title: LLM-Confidence Reranker: A Training-Free Approach for Enhancing Retrieval-Augmented Generation Systems
• Title（参考訳）: LLM-Confidence Reranker:Retrieval-Augmented Generation Systemの強化のためのトレーニング不要アプローチ
• Authors: Zhipeng Song, Xiangyu Kong, Xinrui Bao, Yizhi Zhou, Jiulong Jiao, Sitong Liu, Yuhang Zhou, Heng Qi,
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、知識集約的なタスクの幻覚は依然として重要な課題である。 本稿では,RAGシステムにおけるリランク向上のための訓練不要なプラグアンドプレイアルゴリズムであるLLM-Confidence Reranker (LCR)を提案する。
• 参考スコア（独自算出の注目度）: 27.93755705949248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have revolutionized natural language processing, yet hallucinations in knowledge-intensive tasks remain a critical challenge. Retrieval-augmented generation (RAG) addresses this by integrating external knowledge, but its efficacy depends on accurate document retrieval and ranking. Although existing rerankers demonstrate effectiveness, they frequently necessitate specialized training, impose substantial computational expenses, and fail to fully exploit the semantic capabilities of LLMs, particularly their inherent confidence signals. We propose the LLM-Confidence Reranker (LCR), a training-free, plug-and-play algorithm that enhances reranking in RAG systems by leveraging black-box LLM confidence derived from Maximum Semantic Cluster Proportion (MSCP). LCR employs a two-stage process: confidence assessment via multinomial sampling and clustering, followed by binning and multi-level sorting based on query and document confidence thresholds. This approach prioritizes relevant documents while preserving original rankings for high-confidence queries, ensuring robustness. Evaluated on BEIR and TREC benchmarks with BM25 and Contriever retrievers, LCR--using only 7--9B-parameter pre-trained LLMs--consistently improves NDCG@5 by up to 20.6% across pre-trained LLM and fine-tuned Transformer rerankers, without degradation. Ablation studies validate the hypothesis that LLM confidence positively correlates with document relevance, elucidating LCR's mechanism. LCR offers computational efficiency, parallelism for scalability, and broad compatibility, mitigating hallucinations in applications like medical diagnosis.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、知識集約的なタスクの幻覚は依然として重要な課題である。 Retrieval-augmented Generation (RAG) は外部知識を統合することでこの問題に対処するが、その有効性は正確な文書検索とランキングに依存する。 既存のリランカーは効果を示すが、彼らはしばしば専門的な訓練を必要とし、かなりの計算費用を課し、LLMのセマンティックな能力、特にその固有の信頼性信号を完全に活用することができない。 LLM-Confidence Reranker (LCR) は、最大セマンティッククラスタ・プロポーション(MSCP)から派生したブラックボックスLSM信頼を利用して、RAGシステムにおけるリランクを高める訓練不要なプラグイン・アンド・プレイアルゴリズムである。 LCRには2段階のプロセスがある: マルチノミカルサンプリングとクラスタリングによる信頼性評価、次いでクエリとドキュメントの信頼性しきい値に基づくバイナリとマルチレベルソートである。 このアプローチは、信頼性の高いクエリに対するオリジナルのランキングを保持しながら、関連ドキュメントを優先し、堅牢性を確保する。 BEIRとTRECのベンチマークをBM25とContrieverリトリーバーで評価し、LCRは7--9Bパラメータの事前訓練LLMしか使用せず、NDCG@5を最大20.6%改善した。 アブレーション研究は、LLMの信頼性が文書の関連性と正に相関し、LCRのメカニズムを解明する仮説を検証する。 LCRは、計算効率、スケーラビリティのための並列性、および広い互換性を提供し、医学診断のような応用における幻覚を緩和する。

関連論文リスト

• Veri-R1: Toward Precise and Faithful Claim Verification via Online Reinforcement Learning [53.05161493434908]
  大規模言語モデル(LLM)によるクレーム検証は、その強力な推論能力と透過的な検証プロセスのため、近年注目を集めている。 我々は、LLMが検索エンジンと対話し、その計画、検索、推論行動を明確に形作る報酬信号を受け取ることができるオンライン強化学習フレームワークであるVeri-R1を紹介した。 実験の結果、Veri-R1は最大30%の精度で関節の精度を向上し、エビデンススコアを2倍にし、より大きなモデルを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-10-02T11:49:48Z)
• Rethinking LLM Parametric Knowledge as Post-retrieval Confidence for Dynamic Retrieval and Reranking [23.1400319714807]
  大規模言語モデル(LLM)は、知識の範囲を超えて疑問に直面したとき、しばしば不正確な応答(幻覚)を生成する。 Retrieval-Augmented Generation (RAG)は、外部知識を活用することでこの問題に対処するが、重要な課題は、検索されたコンテキストが特定のクエリに応答する能力を効果的に強化するかどうかである。 この課題は知識境界認識の重要性を浮き彫りにしており、これは現在の手法が個別のラベルや限られた信号障害に適切に対処する方法である。
  論文  参考訳（メタデータ） (2025-09-08T09:37:20Z)
• Cleanse: Uncertainty Estimation Approach Using Clustering-based Semantic Consistency in LLMs [5.161416961439468]
  本研究では,textbfClusttextbfering に基づくsemtextbfantic contextbfsisttextbfency (textbfCleanse) を用いた効果的な不確実性推定手法を提案する。 LLaMA-7B, LLaMA-13B, LLaMA2-7B, Mistral-7Bの4つの市販モデルを用いて, 幻覚検出におけるクリーンスの有効性を検証した。
  論文  参考訳（メタデータ） (2025-07-19T14:48:24Z)
• SGIC: A Self-Guided Iterative Calibration Framework for RAG [45.17496149653415]
  大規模言語モデル(LLM)は、頑健な文脈内推論を生かしている。 ツールとして不確実性スコアを用いる新しいフレームワークを提案する。 また、反復的な自己校正訓練セットを構築するための革新的なアプローチも導入する。
  論文  参考訳（メタデータ） (2025-06-19T09:45:13Z)
• Towards Fully Exploiting LLM Internal States to Enhance Knowledge Boundary Perception [58.62352010928591]
  大きな言語モデル(LLM)は様々なタスクにまたがって優れたパフォーマンスを示すが、しばしば知識境界を正確に測定するのに苦労する。 本稿では,LLMの内部状態を有効利用して,効率性やリスクの観点から知識境界に対する認識を高める方法について検討する。
  論文  参考訳（メタデータ） (2025-02-17T11:11:09Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• CtrlA: Adaptive Retrieval-Augmented Generation via Inherent Control [26.21425058462886]
  大規模言語モデル(LLM)の幻覚を、検索された外部知識で緩和するための有望な解決策として、検索拡張世代(RAG)が出現している。 本稿では,適応的なRAGを表現的視点から解決し,固有な制御ベースフレームワークであるnameを開発するための最初の試みについて述べる。 実験により、名前は様々なタスクにおいて既存の適応RAG法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-29T03:17:16Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [84.94220787791389]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。