Fugu-MT 論文翻訳(概要): A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models

論文の概要: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models

arxiv url: http://arxiv.org/abs/2310.09497v1
Date: Sat, 14 Oct 2023 05:20:02 GMT
ステータス: 処理完了
システム内更新日: 2023-10-17 20:03:13.438611
Title: A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
Title（参考訳）: 大規模言語モデルを用いた効率良く高効率なゼロショットランキングのための集合的アプローチ
Authors: Shengyao Zhuang, Honglei Zhuang, Bevan Koopman, Guido Zuccon
Abstract要約: 大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。 LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。それぞれのアプローチに固有の有効性と効率のトレードオフを特定します。
参考スコア（独自算出の注目度）: 38.42388083274069
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large Language Models (LLMs) demonstrate impressive effectiveness in zero-shot document ranking tasks. Pointwise, Pairwise, and Listwise prompting approaches have been proposed for LLM-based zero-shot ranking. Our study begins by thoroughly evaluating these existing approaches within a consistent experimental framework, considering factors like model size, token consumption, latency, among others. This first-of-its-kind comparative evaluation of these approaches allows us to identify the trade-offs between effectiveness and efficiency inherent in each approach. We find that while Pointwise approaches score high on efficiency, they suffer from poor effectiveness. Conversely, Pairwise approaches demonstrate superior effectiveness but incur high computational overhead. To further enhance the efficiency of LLM-based zero-shot ranking, we propose a novel Setwise prompting approach. Our approach reduces the number of LLM inferences and the amount of prompt token consumption during the ranking procedure, significantly improving the efficiency of LLM-based zero-shot ranking. We test our method using the TREC DL datasets and the BEIR zero-shot document ranking benchmark. The empirical results indicate that our approach considerably reduces computational costs while also retaining high zero-shot ranking effectiveness.
Abstract（参考訳）: 大言語モデル(LLM)は、ゼロショット文書ランキングタスクにおいて顕著な効果を示す。 LLMベースのゼロショットランキングでは、ポイントワイズ、ペアワイズ、リストワイズといったアプローチが提案されている。本研究は,モデルサイズ,トークン使用量,レイテンシなどの要因を考慮して,一貫した実験フレームワーク内で既存のアプローチを徹底的に評価することから始まる。これらのアプローチの第一種比較評価により、各アプローチに固有の有効性と効率との間のトレードオフを特定することができる。ポイントワイズアプローチが効率を高く評価する一方で、効果が低いことが分かりました。逆に、Pairwiseアプローチは優れた効果を示すが、高い計算オーバーヘッドをもたらす。 LLMに基づくゼロショットランキングの効率をさらに高めるために,新しいSetwise promptingアプローチを提案する。提案手法は,LSMを用いたゼロショットランキングの効率を著しく向上させるため,ランキング手順中のLSM推測数とトークン消費量を削減する。 TREC DLデータセットとBEIRゼロショット文書ランキングベンチマークを用いて本手法を検証した。実験の結果,提案手法は計算コストを大幅に削減し,高いゼロショットランキングの有効性を維持した。

関連論文リスト

Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文参考訳（メタデータ） (2024-11-07T10:31:31Z)
Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文参考訳（メタデータ） (2024-10-28T04:47:39Z)
Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation [6.979979613916754]
ニュースレコメンデーションは、各ユーザのインタラクション履歴と好みに基づいてパーソナライズを行う、困難なタスクである。最近の研究は、事前学習された言語モデル(PLM)の力を利用して、ニュース項目を直接ランク付けする手法を用いて、ポイントワイド、ペアワイド、リストワイドの3つのカテゴリに分類している。本稿では,PLMに基づくニュースレコメンデーションのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-26T10:27:19Z)
On Speeding Up Language Model Evaluation [48.51924035873411]
LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。この課題に対処するための新しい手法を提案する。典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
論文参考訳（メタデータ） (2024-07-08T17:48:42Z)
Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
論文参考訳（メタデータ） (2023-11-02T19:16:21Z)
LlamaRec: Two-Stage Recommendation using Large Language Models for Ranking [10.671747198171136]
ランキングベースレコメンデーション(LlamaRec)のための大規模言語モデルを用いた2段階フレームワークを提案する。特に,ユーザインタラクション履歴に基づいて候補を検索するために,小規模なシーケンシャルレコメンデータを用いる。 LlamaRecは、推奨パフォーマンスと効率の両方において、データセットの優れたパフォーマンスを一貫して達成している。
論文参考訳（メタデータ） (2023-10-25T06:23:48Z)
Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
論文参考訳（メタデータ） (2023-06-30T11:32:25Z)
Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文参考訳（メタデータ） (2021-05-11T03:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。