論文の概要: CoRanking: Collaborative Ranking with Small and Large Ranking Agents

• arxiv url: http://arxiv.org/abs/2503.23427v2
• Date: Tue, 01 Apr 2025 02:24:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-02 10:23:37.295092
• Title: CoRanking: Collaborative Ranking with Small and Large Ranking Agents
• Title（参考訳）: CoRanking: 小規模で大規模なランク付けエージェントによるコラボレーションランキング
• Authors: Wenhan Liu, Xinyu Ma, Yutao Zhu, Lixin Su, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou,
• Abstract要約: 大規模言語モデル(LLM)は、優れたリストワイドランキング性能を示している。 CoRankingは、小規模と大規模なランキングモデルを組み合わせて、効率的かつ効果的なランク付けを行う。
• 参考スコア（独自算出の注目度）: 39.98101653077503
• License:
• Abstract: Large Language Models (LLMs) have demonstrated superior listwise ranking performance. However, their superior performance often relies on large-scale parameters (\eg, GPT-4) and a repetitive sliding window process, which introduces significant efficiency challenges. In this paper, we propose \textbf{CoRanking}, a novel collaborative ranking framework that combines small and large ranking models for efficient and effective ranking. CoRanking first employs a small-size reranker to pre-rank all the candidate passages, bringing relevant ones to the top part of the list (\eg, top-20). Then, the LLM listwise reranker is applied to only rerank these top-ranked passages instead of the whole list, substantially enhancing overall ranking efficiency. Although more efficient, previous studies have revealed that the LLM listwise reranker have significant positional biases on the order of input passages. Directly feed the top-ranked passages from small reranker may result in the sub-optimal performance of LLM listwise reranker. To alleviate this problem, we introduce a passage order adjuster trained via reinforcement learning, which reorders the top passages from the small reranker to align with the LLM's preferences of passage order. Extensive experiments on three IR benchmarks demonstrate that CoRanking significantly improves efficiency (reducing ranking latency by about 70\%) while achieving even better effectiveness compared to using only the LLM listwise reranker.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、優れたリストワイドランキング性能を示している。 しかし、その優れた性能は大規模パラメータ (\eg, GPT-4) と繰り返しスライディングウインドウプロセスに依存しており、これは大きな効率性をもたらす。 本稿では,小規模と大規模のランキングモデルを組み合わせて,効率的かつ効果的なランク付けを行う新しい協調ランキングフレームワークである「textbf{CoRanking}」を提案する。 CoRankingはまず、すべての候補パスをプリランクするために、小さなリランカを使用して、関連するパスをリストの上部に持ってくる(トップ20)。 次に、LLMリストワイズリランカを適用して、リスト全体ではなく上位の通路のみをリランクし、全体的なランキング効率を大幅に向上させる。 より効率的ではあるが、以前の研究では、LLMリランカは入力経路の順序に有意な位置偏差があることが示されている。 小さなリランカからトップランクの通路を直接供給すると、LLMリストワイドリランカの準最適性能が得られる。 この問題を緩和するために、強化学習により訓練された経路順調整器を導入し、小さな再ランカから最上位の経路を並べ替えて、LSMの経路順の好みに合わせる。 3つのIRベンチマークによる大規模な実験により、CoRankingは、LLMリストワイドリランカのみを使用する場合と比較して、効率を著しく向上し(ランク付けレイテンシを約70 %削減する)、さらに有効性を実現している。

関連論文リスト

• Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models [40.21540137079309]
  LLM(Long-context Language Models)は、単一の推論内で全ての節の完全なランク付けを可能にする。 教師付き微調整環境において,LLMの完全ランク付けにより優れた性能が得られることを示す。 本稿では,リストワイドなラベル構築手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T06:44:59Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Re-Ranking Step by Step: Investigating Pre-Filtering for Re-Ranking with Large Language Models [5.0490573482829335]
  大規模言語モデル(LLM)は、さまざまなゼロショット機能を備えた多種多様な自然言語処理タスクに革命をもたらしている。 本稿では、情報検索(IR)における通過前の事前フィルタリングステップの使用について検討する。 実験の結果, この事前フィルタリングにより, LLMは再ランクタスクにおいて, 性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-26T20:12:24Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models [17.420756201557957]
  本稿では, PE-Rankを提案する。 本稿では,これらの特別なトークンに復号空間を動的に制約し,復号処理を高速化する推論手法を提案する。 複数のベンチマークの結果、PE-Rankは、競合するランキング効率を維持しながら、プリフィルとデコードの両方の効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-06-21T03:33:51Z)
• LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking [17.96316956366718]
  大規模言語モデル(LLM)によるランク付けは、現代の情報検索(IR)システムにおいて有望な性能を達成することができる。 ソートに基づく手法では、パスを正しくソートするには一貫した比較が必要であり、LCMがしばしば違反することを示す。 LLMベースのランキングフレームワークであるLLM-RankFusionを提案する。
  論文  参考訳（メタデータ） (2024-05-31T23:29:42Z)
• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。