論文の概要: Active Learning of Approximate LLM Ranking for Energy-Efficient Retrieval of Long Queries
- arxiv url: http://arxiv.org/abs/2611.16488v1
- Date: Thu, 12 Nov 2026 08:59:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.404168
- Title: Active Learning of Approximate LLM Ranking for Energy-Efficient Retrieval of Long Queries
- Title(参考訳): 長クエリのエネルギー効率の高い検索のための近似LDMランキングのアクティブラーニング
- Abstract要約: 本稿では,セマンティック検索と大規模言語モデルの仲介を行う軽量学習予測器を提案する。
LLMとしてBM25検索とDeepSeek v3を用いたTREC Robust 2004のフレームワークの評価を行った。
冗長クエリでは、LAAMはDeepSeekの再ランク付けによって達成された平均的なP@10の87%を達成している。
- 参考スコア(独自算出の注目度): 0.42970700836450476
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Search engines and Large Language Models (LLMs) offer complementary strengths for document retrieval: lexical retrievers which rely on keyword matching are fast and energy-efficient, whereas LLMs capture semantic meaning and excel at interpreting long, context-rich queries. However, this comes at a cost that is computationally and energetically prohibitive. We propose the LLM Active Approximation Model (LAAM), a hybrid retrieval framework that introduces a lightweight learned predictor which serves as an intermediary between semantic retrieval and LLM retrieval. LAAM is refined through an active learning loop where an LLM labels a small number of documents. By concentrating LLM evaluations on the most informative documents, the framework substantially reduces inference cost while preserving retrieval effectiveness. We evaluate the proposed framework on TREC Robust 2004 using Lucene with BM25 retrieval and DeepSeek v3 as the LLM, under three levels of query verbosity. For verbose queries, LAAM achieves 87% of average P@10 achieved by DeepSeek's reranking (0.459 vs. 0.526), while requiring only 3.3% of the per-query energy consumption. LAAM is statistically significantly better than BM25 and is indistinguishable from DeepSeek on average precision, though not on MAP (Friedman test, P<0.05 with post-hoc testing). Overall, our results demonstrate that selectively approximating LLM relevance judgments through active learning enables retrieval accuracy to be controlled directly through the evaluation (and consequently energy) budget. Rather than committing to either inexpensive (and less accurate) lexical retrieval or exhaustive (and expensive) LLM reranking, our framework exposes a continuous spectrum of operating points along the energy--accuracy curve, allowing practitioners to select how to trade retrieval quality with computational budget.
- Abstract(参考訳): キーワードマッチングに依存する語彙検索は高速でエネルギー効率が良いが、LLMは意味を捉え、長い文脈に富んだクエリを解釈するのに優れている。
しかし、これは計算的かつエネルギー的に禁止されるコストがかかる。
LLM Active Approximation Model (LAAM) は, セマンティック検索とLLM検索の仲介となる軽量な学習予測器を導入するハイブリッド検索フレームワークである。
LAAMは、LLMが少数の文書をラベル付けするアクティブな学習ループを通じて洗練される。
最も情報性の高い文書にLLM評価を集中させることで、検索効率を保ちつつ、推論コストを大幅に削減する。
提案したTREC Robust 2004 のフレームワークを BM25 検索付き Lucene と DeepSeek v3 で評価した。
冗長なクエリでは、LAAMはDeepSeekの再ランク(0.459対0.526)によって達成される平均P@10の87%を達成し、クエリ当たりのエネルギー消費量はわずか3.3%である。
LAAMはBM25よりも統計的に有意に優れており、MAP(Friedman test, P<0.05 with post-hoc test)ではなく、平均精度ではDeepSeekと区別できない。
以上の結果から, 能動学習によるLCM関連判断を選択的に近似することで, 評価(エネルギー)予算で直接精度を制御できることが示唆された。
我々のフレームワークは、安価な(かつ精度の低い)語彙検索か、徹底的な(そして高価な)LLMの再評価にコミットするのではなく、エネルギー精度曲線に沿って連続的な演算点のスペクトルを公開し、実行者が検索品質を計算予算で取引する方法を選択することができる。
関連論文リスト
- Quantum-Inspired Pairwise Ranking Aggregation via Active LLM Feedback [1.6932009464531739]
複数のレトリバーからのランキングアグリゲーションは、現代の検索とRAGシステムにおいて強力だが未探索の手法である。
LLM-IRAは、量子にインスパイアされたインタラクティブなランキングアグリゲーションフレームワークの最初の拡張であり、ドキュメントの再ランク付けを行う。
論文 参考訳(メタデータ) (2026-10-28T18:55:57Z) - SAGE: Benchmarking and Improving Retrieval for Deep Research Agents [60.53966065867568]
SAGEは4つの科学領域にわたる1200のクエリからなる科学文献検索のためのベンチマークであり、20万の論文検索コーパスを備える。
6つのディープ・リサーチ・エージェントを評価し,全てのシステムが推論集約的な検索に苦しむことを発見した。
BM25は、既存のエージェントがキーワード指向のサブクエリを生成するため、LLMベースのレトリバーを約30%上回っている。
論文 参考訳(メタデータ) (2026-02-05T18:25:24Z) - A Comparative Study of Specialized LLMs as Dense Retrievers [29.504113759761527]
本研究では,大規模言語モデル(LLM)におけるタスク固有適応が検索能力にどのように影響するかを系統的に検討する。
我々は,Qwen2.5 7B LLMをベース,命令調整,コード/マス特化,長い推論,視覚言語モデルを含む8つの実験を行った。
数学的特殊化と長い推論能力は、3つの設定で一貫した劣化を引き起こし、数学的推論とセマンティックマッチングの矛盾を示す。
論文 参考訳(メタデータ) (2025-07-05T08:50:29Z) - Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。
エージェント検索フレームワークであるEXSEARCHを提案する。
4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
論文 参考訳(メタデータ) (2025-05-26T15:27:55Z) - Towards Automated Fact-Checking of Real-World Claims: Exploring Task Formulation and Assessment with LLMs [32.45604456988931]
本研究では,Large Language Models(LLMs)を用いたAFC(Automated Fact-Checking)のベースライン比較を確立する。
また,2007-2024年にPoitiFactから収集された17,856件のクレームに対して,制限されたWeb検索によって得られた証拠を用いてLlama-3モデルの評価を行った。
以上の結果から, LLMは微調整をせずに, 分類精度, 正当化品質において, より小型のLLMより一貫して優れていたことが示唆された。
論文 参考訳(メタデータ) (2025-02-13T02:51:17Z) - Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。
私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。
LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
論文 参考訳(メタデータ) (2024-10-30T17:02:54Z) - Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。
我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。