論文の概要: Beyond Reproducibility: Advancing Zero-shot LLM Reranking Efficiency with Setwise Insertion

• arxiv url: http://arxiv.org/abs/2504.10509v1
• Date: Wed, 09 Apr 2025 18:44:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:53.930227
• Title: Beyond Reproducibility: Advancing Zero-shot LLM Reranking Efficiency with Setwise Insertion
• Title（参考訳）: 再現性を超えて: ゼロショットLDMの適度な導入による再品位効率の向上
• Authors: Jakub Podolak, Leon Peric, Mina Janicijevic, Roxana Petcu,
• Abstract要約: 本研究では,Large Language Models (LLMs) を用いたゼロショットランキングのための,Setwise prompting 手法の包括的および拡張的解析を行う。 文書ランキングタスクにおける従来のポイントワイド・ペアワイド・リストワイド・アプローチと比較して,その有効性と効率を評価する。 本稿では,初期文書ランキングを先行知識として活用する新しい手法であるSetwise Insertionを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study presents a comprehensive reproducibility and extension analysis of the Setwise prompting methodology for zero-shot ranking with Large Language Models (LLMs), as proposed by Zhuang et al. We evaluate its effectiveness and efficiency compared to traditional Pointwise, Pairwise, and Listwise approaches in document ranking tasks. Our reproduction confirms the findings of Zhuang et al., highlighting the trade-offs between computational efficiency and ranking effectiveness in Setwise methods. Building on these insights, we introduce Setwise Insertion, a novel approach that leverages the initial document ranking as prior knowledge, reducing unnecessary comparisons and uncertainty by focusing on candidates more likely to improve the ranking results. Experimental results across multiple LLM architectures (Flan-T5, Vicuna, and Llama) show that Setwise Insertion yields a 31% reduction in query time, a 23% reduction in model inferences, and a slight improvement in reranking effectiveness compared to the original Setwise method. These findings highlight the practical advantage of incorporating prior ranking knowledge into Setwise prompting for efficient and accurate zero-shot document reranking.
• Abstract（参考訳）: 本研究では,文書ランキングタスクにおける従来のポイントワイド,ペアワイド,リストワイドの手法と比較して,その有効性と効率性を評価するため,大言語モデル(LLM)を用いたゼロショットランク付け手法の総合的再現性と拡張分析を行った。 我々の再現はZhuangらの発見を確認し、Setwise法における計算効率とランキングの有効性のトレードオフを強調している。 これらの知見に基づいて,初期文書ランキングを事前知識として活用する新しい手法であるSetwise Insertionを導入する。 複数のLLMアーキテクチャ(Flan-T5, Vicuna, Llama)にまたがる実験結果から,Setwise Insertionはクエリ時間の31%削減,モデル推論の23%削減,Setwise法と比較して少し改善された。 これらの知見は、事前のランク付け知識をSetwiseに組み込むことによって、効率的で正確なゼロショット文書の再ランク付けを促進するという現実的な利点を浮き彫りにしている。

関連論文リスト

• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation [6.979979613916754]
  ニュースレコメンデーションは、各ユーザのインタラクション履歴と好みに基づいてパーソナライズを行う、困難なタスクである。 最近の研究は、事前学習された言語モデル(PLM)の力を利用して、ニュース項目を直接ランク付けする手法を用いて、ポイントワイド、ペアワイド、リストワイドの3つのカテゴリに分類している。 本稿では,PLMに基づくニュースレコメンデーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T10:27:19Z)
• AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
  まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。 本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T10:46:11Z)
• Lower-Left Partial AUC: An Effective and Efficient Optimization Metric for Recommendation [52.45394284415614]
  我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。 LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T13:58:33Z)
• Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers [56.12593882838412]
  本稿では,文書のランク付けのための新しい命令蒸留手法を提案する。 まず、複雑な命令で効果的なペアワイズ手法を用いて文書をランク付けし、簡単な指示で教師の予測をポイントワイズ方式で抽出する。 提案手法は,MonoT5のような既存の教師付きメソッドの性能を超越し,最先端のゼロショット手法と同等である。
  論文  参考訳（メタデータ） (2023-11-02T19:16:21Z)
• A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models [35.17291316942284]
  本稿では,Large Language Models (LLMs) に基づくゼロショット文書ランキング手法を提案する。 我々のアプローチは、LLMベースのゼロショットランキング(ポイントワイズ、ペアワイズ、リストワイズ)の既存のプロンプトアプローチを補完する。
  論文  参考訳（メタデータ） (2023-10-14T05:20:02Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。