論文の概要: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking
with Large Language Models
- arxiv url: http://arxiv.org/abs/2310.09497v1
- Date: Sat, 14 Oct 2023 05:20:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 20:03:13.438611
- Title: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking
with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた効率良く高効率なゼロショットランキングのための集合的アプローチ
- Authors: Shengyao Zhuang, Honglei Zhuang, Bevan Koopman, Guido Zuccon
- Abstract要約: 大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。
LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。
それぞれのアプローチに固有の有効性と効率のトレードオフを特定します。
- 参考スコア(独自算出の注目度): 38.42388083274069
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) demonstrate impressive effectiveness in
zero-shot document ranking tasks. Pointwise, Pairwise, and Listwise prompting
approaches have been proposed for LLM-based zero-shot ranking. Our study begins
by thoroughly evaluating these existing approaches within a consistent
experimental framework, considering factors like model size, token consumption,
latency, among others. This first-of-its-kind comparative evaluation of these
approaches allows us to identify the trade-offs between effectiveness and
efficiency inherent in each approach. We find that while Pointwise approaches
score high on efficiency, they suffer from poor effectiveness. Conversely,
Pairwise approaches demonstrate superior effectiveness but incur high
computational overhead. To further enhance the efficiency of LLM-based
zero-shot ranking, we propose a novel Setwise prompting approach. Our approach
reduces the number of LLM inferences and the amount of prompt token consumption
during the ranking procedure, significantly improving the efficiency of
LLM-based zero-shot ranking. We test our method using the TREC DL datasets and
the BEIR zero-shot document ranking benchmark. The empirical results indicate
that our approach considerably reduces computational costs while also retaining
high zero-shot ranking effectiveness.
- Abstract(参考訳): 大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。
LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。
本研究は,モデルサイズ,トークン使用量,レイテンシなどの要因を考慮して,一貫した実験フレームワーク内で既存のアプローチを徹底的に評価することから始まる。
これらのアプローチの第一種比較評価により、各アプローチに固有の有効性と効率との間のトレードオフを特定することができる。
ポイントワイズアプローチが効率を高く評価する一方で、効果が低いことが分かりました。
逆に、Pairwiseアプローチは優れた効果を示すが、高い計算オーバーヘッドをもたらす。
LLMに基づくゼロショットランキングの効率をさらに高めるために,新しいSetwise promptingアプローチを提案する。
提案手法は,LSMを用いたゼロショットランキングの効率を著しく向上させるため,ランキング手順中のLSM推測数とトークン消費量を削減する。
TREC DLデータセットとBEIRゼロショット文書ランキングベンチマークを用いて本手法を検証した。
実験の結果,提案手法は計算コストを大幅に削減し,高いゼロショットランキングの有効性を維持した。
関連論文リスト
- Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data [36.09359953556684]
大規模言語モデル(LLMs)は、テキスト分類タスクにおいて、0ショットまたは数ショットの設定で動作する。
In-Context Learning (ICL) は通常、0ショット設定よりも精度が高いが、入力のプロンプトが長くなるため、効率性は高い。
論文 参考訳(メタデータ) (2024-04-03T03:24:19Z) - Lower-Left Partial AUC: An Effective and Efficient Optimization Metric
for Recommendation [52.45394284415614]
我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。
LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
論文 参考訳(メタデータ) (2024-02-29T13:58:33Z) - Identifying Factual Inconsistency in Summaries: Towards Effective
Utilization of Large Language Model [50.71344457241456]
この研究は2つの重要な疑問に焦点をあてる: 現実の不整合検出に大規模言語モデル(LLM)を利用する最善の方法は何か、そして、どのようにしてより小さなLCMを高い効率と有効性で蒸留できるのか?
実験の結果、LLM自体が適切なパラダイム設計の下でこのタスクを無断で解決でき、訓練されたベースラインが平均2.8%を超えることが示唆された。
実用性をさらに向上するため,我々はより小型のオープンソースLCMを蒸留し,要約全体を高精度にまとめることを目指す訓練戦略を提案する。
論文 参考訳(メタデータ) (2024-02-20T08:41:23Z) - Instruction Distillation Makes Large Language Models Efficient Zero-shot
Rankers [56.12593882838412]
本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。
まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。
提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
論文 参考訳(メタデータ) (2023-11-02T19:16:21Z) - Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。
本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文 参考訳(メタデータ) (2023-06-30T11:32:25Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Hierarchical and Efficient Learning for Person Re-Identification [19.172946887940874]
階層的大域的, 部分的, 回復的特徴を複数の損失結合の監督の下で学習する, 階層的, 効率的なネットワーク(HENet)を提案する。
また,RPE (Random Polygon Erasing) と呼ばれる新しいデータセット拡張手法を提案する。
論文 参考訳(メタデータ) (2020-05-18T15:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。