論文の概要: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.09497v2
• Date: Thu, 30 May 2024 10:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 23:42:43.704180
• Title: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた効率的かつ高能率なゼロショットランク付けの一検討
• Authors: Shengyao Zhuang, Honglei Zhuang, Bevan Koopman, Guido Zuccon,
• Abstract要約: 本稿では,Large Language Models (LLMs) に基づくゼロショット文書ランキング手法を提案する。 我々のアプローチは、LLMベースのゼロショットランキング(ポイントワイズ、ペアワイズ、リストワイズ)の既存のプロンプトアプローチを補完する。
• 参考スコア（独自算出の注目度）: 35.17291316942284
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose a novel zero-shot document ranking approach based on Large Language Models (LLMs): the Setwise prompting approach. Our approach complements existing prompting approaches for LLM-based zero-shot ranking: Pointwise, Pairwise, and Listwise. Through the first-of-its-kind comparative evaluation within a consistent experimental framework and considering factors like model size, token consumption, latency, among others, we show that existing approaches are inherently characterised by trade-offs between effectiveness and efficiency. We find that while Pointwise approaches score high on efficiency, they suffer from poor effectiveness. Conversely, Pairwise approaches demonstrate superior effectiveness but incur high computational overhead. Our Setwise approach, instead, reduces the number of LLM inferences and the amount of prompt token consumption during the ranking procedure, compared to previous methods. This significantly improves the efficiency of LLM-based zero-shot ranking, while also retaining high zero-shot ranking effectiveness. We make our code and results publicly available at \url{https://github.com/ielab/llm-rankers}.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) に基づくゼロショット文書ランキング手法を提案する。 我々のアプローチは、LLMベースのゼロショットランキング(ポイントワイズ、ペアワイズ、リストワイズ)の既存のプロンプトアプローチを補完する。 一貫した実験フレームワークにおける一貫した比較評価を通じて、モデルサイズ、トークン消費、レイテンシなどの要因を考慮し、既存のアプローチは、有効性と効率のトレードオフによって本質的に特徴付けられることを示す。 ポイントワイズアプローチは効率を高く評価する一方で、効果の低下に悩まされていることがわかった。 逆に、Pairwiseアプローチは優れた効果を示すが、高い計算オーバーヘッドをもたらす。 我々のSetwiseアプローチは、従来の手法に比べてLCM推論の数とランキング手順中のトークン消費量を減らす。 これにより、LLMベースのゼロショットランキングの効率が大幅に向上し、高いゼロショットランキングの有効性が保たれる。 コードと結果は、 \url{https://github.com/ielab/llm-rankers} で公開しています。

関連論文リスト

• Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models [17.420756201557957]
  本稿では, PE-Rankを提案する。 本稿では,これらの特別なトークンに復号空間を動的に制約し,復号処理を高速化する推論手法を提案する。 複数のベンチマークの結果、PE-Rankは、競合するランキング効率を維持しながら、プリフィルとデコードの両方の効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-06-21T03:33:51Z)
• How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark [39.13045037676502]
  大規模言語モデル(LLM)の開発は、プログラム合成のフロンティアを著しく押し上げている。 ほとんどの評価フレームワークは生成したコードの(機能的な)正しさに重点を置いています。 我々は,LLMの効率的なコード生成能力を評価するための厳格で高水準なベンチマークENAMELを開発した。
  論文  参考訳（メタデータ） (2024-06-10T04:19:20Z)
• Lower-Left Partial AUC: An Effective and Efficient Optimization Metric for Recommendation [52.45394284415614]
  我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。 LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T13:58:33Z)
• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)
• LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
  ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。 特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
  論文  参考訳（メタデータ） (2023-10-25T06:23:48Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。