論文の概要: Harnessing Pairwise Ranking Prompting Through Sample-Efficient Ranking Distillation

• arxiv url: http://arxiv.org/abs/2507.04820v1
• Date: Mon, 07 Jul 2025 09:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.361637
• Title: Harnessing Pairwise Ranking Prompting Through Sample-Efficient Ranking Distillation
• Title（参考訳）: サンプル効率のよいランキング蒸留によるペアワイドランキングの高調度化
• Authors: Junru Wu, Le Yan, Zhen Qin, Honglei Zhuang, Paul Suganthan G. C., Tianqi Liu, Zhe Dong, Xuanhui Wang, Harrie Oosterhuis,
• Abstract要約: Pairwise Ranking Prompting (PRP) with Large Language Models (LLMs) は、最も効果的なゼロショット文書ランキング手法の一つである。 本稿では,PRPの対蒸留による有効性を活用することを提案する。
• 参考スコア（独自算出の注目度）: 37.687348363173214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Pairwise Ranking Prompting (PRP) with Large Language Models (LLMs) is one of the most effective zero-shot document ranking methods, it has a quadratic computational complexity with respect to the number of documents to be ranked, as it requires an enumeration over all possible document pairs. Consequently, the outstanding ranking performance of PRP has remained unreachable for most real-world ranking applications. In this work, we propose to harness the effectiveness of PRP through pairwise distillation. Specifically, we distill a pointwise student ranker from pairwise teacher labels generated by PRP, resulting in an efficient student model that retains the performance of PRP with substantially lower computational costs. Furthermore, we find that the distillation process can be made sample-efficient: with only 2% of pairs, we are able to obtain the same performance as using all pairs for teacher labels. Thus, our novel approach provides a solution to harness the ranking performance of PRP without incurring high computational costs during both distillation and serving.
• Abstract（参考訳）: Pairwise Ranking Prompting (PRP) with Large Language Models (LLMs) は、最も効果的なゼロショット文書ランキング手法の1つであるが、全ての可能な文書ペアの列挙を必要とするため、ランク付けされる文書の数に関して2次計算の複雑さがある。 したがって、PRPの卓越したランキング性能は、ほとんどの現実世界のランキングアプリケーションでは達成できないままである。 本研究は, 対蒸留によるPRPの有効性を活用することを提案する。 具体的には,PRPが生成した一対の教師ラベルから,ポイントワイドな学生ランクラを蒸留し,計算コストを大幅に削減してPRPの性能を維持する効率的な学生モデルを構築する。 さらに, 蒸留工程は, 2%のペアしか持たず, 全ペアを教師ラベルとして使用するのと同じ性能を得ることができた。 そこで本研究では, 蒸留と供用の双方で高い計算コストを発生させることなく, PRPのランク付け性能を活用する方法を提案する。

関連論文リスト

• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)
• A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models [35.17291316942284]
  本稿では,Large Language Models (LLMs) に基づくゼロショット文書ランキング手法を提案する。 我々のアプローチは、LLMベースのゼロショットランキング(ポイントワイズ、ペアワイズ、リストワイズ)の既存のプロンプトアプローチを補完する。
  論文  参考訳（メタデータ） (2023-10-14T05:20:02Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• An Efficient Combinatorial Optimization Model Using Learning-to-Rank Distillation [2.0137632982900207]
  本稿では, 高速なランク付けポリシを非定型的, 簡易なモデルに抽出可能な, 学習からランク付けへの蒸留に基づくCOPフレームワークを提案する。 具体的には、近似されたランキング蒸留を用いて、勾配降下によるスコアベースランキングモデルを学習可能にする。 蒸留されたモデルは, それぞれの高性能RLに匹敵する性能を達成できるが, 数倍高速な推算も可能であることを実証する。
  論文  参考訳（メタデータ） (2021-12-24T10:52:47Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• DiPair: Fast and Accurate Distillation for Trillion-Scale Text Matching and Pair Modeling [24.07558669713062]
  テキストペアタスクの高速かつ正確なモデルを蒸留するためのフレームワークであるDiPairを提案する。 スケーラビリティも高く、品質と速度のトレードオフも改善されている。 学術および実世界のeコマースベンチマークで実施された実証研究は,提案手法の有効性を実証している。
  論文  参考訳（メタデータ） (2020-10-07T01:19:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。