論文の概要: Quantum-Inspired Pairwise Ranking Aggregation via Active LLM Feedback

• arxiv url: http://arxiv.org/abs/2610.38683v1
• Date: Wed, 28 Oct 2026 18:55:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 09:04:54.934878
• Title: Quantum-Inspired Pairwise Ranking Aggregation via Active LLM Feedback
• Title（参考訳）: アクティブLDMフィードバックによる量子インスパイアされたペアワイズランキングアグリゲーション
• Abstract要約: 複数のレトリバーからのランキングアグリゲーションは、現代の検索とRAGシステムにおいて強力だが未探索の手法である。 LLM-IRAは、量子にインスパイアされたインタラクティブなランキングアグリゲーションフレームワークの最初の拡張であり、ドキュメントの再ランク付けを行う。
• 参考スコア（独自算出の注目度）: 1.6932009464531739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ranking aggregation from multiple retrievers is a powerful yet under-explored technique in modern retrieval and RAG systems. We introduce LLM-IRA, the first extension of the quantum-inspired interactive ranking aggregation framework to document reranking. By leveraging large language models (LLMs) solely for pairwise judgments on high-disagreement document pairs, our method learns fusion weights in a principled, interactive way. The final ranking is a simple, ultra-fast pointwise linear fusion of scores, no full pairwise matrix or expensive listwise prompting is required. Experiments on the BEIR benchmark and TREC Deep Learning tracks with an open-weight instruction-tuned judge (Llama-3.1-8B-Instruct) show that LLM-IRA matches or numerically exceeds strong static fusion baselines on 5 of 6 evaluated benchmarks. We report two weight-update variants: momentum blending and a full accumulated-history refit, which together reach statistical significance (Wilcoxon signed-rank, p<0.05) over the best unsupervised aggregator on 4 of 6 benchmarks (DL19 under momentum; DL20, DBpedia, and NFCorpus under accumulated refit, which is the stronger of the two configurations overall). On the benchmarks we profiled (DL19, DL20), it already clears the best unsupervised baseline within as few as 5 LLM calls per query, well before exhausting its typical ~25--30 call budget. LLM-IRA also achieves cost-effectiveness comparable to state-of-the-art zero-shot LLM rerankers at an order of magnitude fewer LLM calls, and requires no training data or model fine-tuning.
• Abstract（参考訳）: 複数のレトリバーからのランキングアグリゲーションは、現代の検索とRAGシステムにおいて強力だが未探索の手法である。 LLM-IRAは、量子にインスパイアされたインタラクティブなランキングアグリゲーションフレームワークの最初の拡張であり、ドキュメントの再ランク付けを行う。 大規模言語モデル(LLM)を高分解能文書ペアの対判断のみに活用することにより,本手法は原理的,対話的な方法で融合重みを学習する。 最終的なランキングは、単純な、超高速なポイントワイドなスコアの線形融合であり、完全なペアワイズ行列や高価なリストワイズプロンプトは不要である。 BEIRベンチマークとTRECディープラーニングトラックの実験では、Llama-3.1-8B-Instructは、LLM-IRAが6つの評価ベンチマークのうち5つで強い静的核融合ベースラインを超えていることを示している。 本報告では,6ベンチマーク中4ベンチマーク (DL19, DL20, DBpedia, NFCorpus) において, 統計学的に有意(Wilcoxon signed-rank, p<0.05) に到達し, 総計で最大教師なしアグリゲータ(DL19, DL20, DBpedia, NFCorpus) の2種類について検討した。 私たちがプロファイルしたベンチマーク(DL19, DL20)では、通常の25-30コール予算を浪費する前に、クエリ毎に最大5 LLMコールで、教師なしの最高のベースラインをクリアしています。 LLM-IRAは、最先端のゼロショットLLMリランカに匹敵する費用対効果を、LLM呼び出しの桁違いに減少させ、トレーニングデータやモデル微調整を必要としない。

関連論文リスト

• MERGE: Multi-LLM Ensemble for Retrieval via Generative Enrichment [16.653517324875384]
  大規模言語モデル(LLM)は、情報検索(IR)におけるユーザクエリの強化にますます利用されている。 3つの異種 7-8B オープンソース LLM が独立して候補拡張を生成し、より大きな LLM がそれらを単一のクエリに生成する。 5つのBEIRベンチマーク(NQ、SciFact、FiQA、Touche-2020、DBPedia)では、MERGEはBM25 nDCG@10を+2.1から+14.9ポイント改善し、強力なLLMベースのクエリ拡張ベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-09-29T13:39:54Z)
• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• Likert or Not: LLM Absolute Relevance Judgments on Fine-Grained Ordinal Scales [3.4068099825211986]
  関連性判断を求める2つの最も一般的なプロンプトは、ポイントワイズとリストワイズランキングである。 現在の研究コミュニティのコンセンサスでは、リストワイドランキングは優れたパフォーマンスをもたらす。 この仮説と対立する中で、十分に大きな順序関係ラベル空間を用いてポイントワイドスコアリングを行うと、ポイントワイドスコアリングとリストワイドランキングのギャップが縮むことが分かる。
  論文  参考訳（メタデータ） (2025-05-25T21:41:35Z)
• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。