論文の概要: Precise Zero-Shot Pointwise Ranking with LLMs through Post-Aggregated Global Context Information

• arxiv url: http://arxiv.org/abs/2506.10859v1
• Date: Thu, 12 Jun 2025 16:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.834167
• Title: Precise Zero-Shot Pointwise Ranking with LLMs through Post-Aggregated Global Context Information
• Title（参考訳）: 集約後グローバルコンテキスト情報によるLLMによる高精度ゼロショットポイントワイドランキング
• Authors: Kehan Long, Shasha Li, Chen Xu, Jintao Tang, Ting Wang,
• Abstract要約: 本稿では,GCCP(Global-Consistent Comparison Pointwise Ranking)戦略を提案する。 この戦略は、各候補とアンカー文書のグローバル参照比較を取り入れて、対照的な関連性スコアを生成する。 提案手法は,従来と同等の効率性を維持しつつ,従来のポイントワイズ手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 14.302737287907274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements have successfully harnessed the power of Large Language Models (LLMs) for zero-shot document ranking, exploring a variety of prompting strategies. Comparative approaches like pairwise and listwise achieve high effectiveness but are computationally intensive and thus less practical for larger-scale applications. Scoring-based pointwise approaches exhibit superior efficiency by independently and simultaneously generating the relevance scores for each candidate document. However, this independence ignores critical comparative insights between documents, resulting in inconsistent scoring and suboptimal performance. In this paper, we aim to improve the effectiveness of pointwise methods while preserving their efficiency through two key innovations: (1) We propose a novel Global-Consistent Comparative Pointwise Ranking (GCCP) strategy that incorporates global reference comparisons between each candidate and an anchor document to generate contrastive relevance scores. We strategically design the anchor document as a query-focused summary of pseudo-relevant candidates, which serves as an effective reference point by capturing the global context for document comparison. (2) These contrastive relevance scores can be efficiently Post-Aggregated with existing pointwise methods, seamlessly integrating essential Global Context information in a training-free manner (PAGC). Extensive experiments on the TREC DL and BEIR benchmark demonstrate that our approach significantly outperforms previous pointwise methods while maintaining comparable efficiency. Our method also achieves competitive performance against comparative methods that require substantially more computational resources. More analyses further validate the efficacy of our anchor construction strategy.
• Abstract（参考訳）: 近年の進歩は、ゼロショット文書ランキングにLarge Language Models (LLMs) のパワーを活用し、様々なプロンプト戦略を探求している。 ペアワイズやリストワイズのような比較手法は高い有効性を達成するが、計算集約的であり、大規模アプリケーションでは実用的ではない。 Scoring-based pointwise approachは、各候補文書の関連スコアを独立に同時に生成することにより、優れた効率性を示す。 しかし、この独立性は文書間の批判的な比較的な洞察を無視し、一貫性のないスコアと準最適パフォーマンスをもたらす。 本稿では,各候補とアンカー文書のグローバル参照比較を取り入れたGCCP(Global-Consistent Comparison Pointwise Ranking)戦略を提案する。 我々は、アンカー文書を疑似関連候補の問合せ中心の要約として戦略的に設計し、文書比較のグローバルコンテキストを捉えることで効果的な参照ポイントとして機能する。 2)これらのコントラスト関連スコアは,既存のポイントワイズ手法で効率的にポストアグリゲーションし,トレーニング不要な方法で重要なグローバルコンテキスト情報をシームレスに統合することができる。 TREC DL と BEIR ベンチマークの大規模な実験により,本手法は従来の点法よりも高い性能を示しながら,高い効率を維持した。 また,本手法は,計算資源をはるかに多く必要とする比較手法に対する競合性能も達成する。 より詳細な分析により, アンカー建設戦略の有効性が検証された。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Efficient Pointwise-Pairwise Learning-to-Rank for News Recommendation [6.979979613916754]
  ニュースレコメンデーションは、各ユーザのインタラクション履歴と好みに基づいてパーソナライズを行う、困難なタスクである。 最近の研究は、事前学習された言語モデル(PLM)の力を利用して、ニュース項目を直接ランク付けする手法を用いて、ポイントワイド、ペアワイド、リストワイドの3つのカテゴリに分類している。 本稿では,PLMに基づくニュースレコメンデーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-26T10:27:19Z)
• A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models [35.17291316942284]
  本稿では,Large Language Models (LLMs) に基づくゼロショット文書ランキング手法を提案する。 我々のアプローチは、LLMベースのゼロショットランキング(ポイントワイズ、ペアワイズ、リストワイズ)の既存のプロンプトアプローチを補完する。
  論文  参考訳（メタデータ） (2023-10-14T05:20:02Z)
• LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models [55.60306377044225]
  大規模言語モデル(LLM)は、様々な自然言語タスクで印象的なゼロショット機能を実現している。 本稿では,ゼロショットNLG評価におけるLCMの創発的能力を活用するための2つの選択肢について検討する。 FlanT5 や Llama2-chat のような中規模のオープンソース LLM では、スコアリングよりも比較評価が優れている。
  論文  参考訳（メタデータ） (2023-07-15T22:02:12Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Comparing Methods for Extractive Summarization of Call Centre Dialogue [77.34726150561087]
  そこで本稿では,これらの手法を用いて呼の要約を生成し,客観的に評価することにより,実験的な比較を行った。 TopicSum と Lead-N は他の要約法よりも優れており,BERTSum は主観的評価と客観的評価の両方で比較的低いスコアを得た。
  論文  参考訳（メタデータ） (2022-09-06T13:16:02Z)
• Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
  本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。 我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。 本稿では,様々な要約データセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-03-15T01:24:51Z)
• Strategy for Boosting Pair Comparison and Improving Quality Assessment Accuracy [29.849156371902943]
  ペア比較(PC)は、差別性の観点からは絶対カテゴリー評価(ACR)に対して大きな利点がある。 本研究では,ペア比較データとACRデータをブリッジする汎用モデルを用いて,分散項を復元し,得られた情報がより完全であることを示す。 このようにして、提案手法はペア比較の精度を同等に向上するが、ACRほど高い包括性を達成できる。
  論文  参考訳（メタデータ） (2020-10-01T13:05:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。