論文の概要: TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy

• arxiv url: http://arxiv.org/abs/2406.11678v2
• Date: Thu, 06 Feb 2025 14:40:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 17:43:56.631807
• Title: TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy
• Title（参考訳）: TourRank: トーナメントにインスパイアされた戦略による文書ランク付けのための大規模言語モデルの利用
• Authors: Yiqun Chen, Qi Liu, Yi Zhang, Weiwei Sun, Xinyu Ma, Wei Yang, Daiting Shi, Jiaxin Mao, Dawei Yin,
• Abstract要約: 大規模言語モデル(LLM)は、ゼロショット文書ランキングにますます採用され、賞賛に値する結果をもたらす。 本稿では,FIFAワールドカップなどのスポーツトーナメントに触発されたTourRankという新しい文書ランキング手法を紹介する。 具体的には,1) 競技大会の並列グループステージに似た多段階グループ戦略を導入することで,入力長の制限を克服し,ランキング待ち時間を短縮する。
• 参考スコア（独自算出の注目度）: 34.36712942465951
• License:
• Abstract: Large Language Models (LLMs) are increasingly employed in zero-shot documents ranking, yielding commendable results. However, several significant challenges still persist in LLMs for ranking: (1) LLMs are constrained by limited input length, precluding them from processing a large number of documents simultaneously; (2) The output document sequence is influenced by the input order of documents, resulting in inconsistent ranking outcomes; (3) Achieving a balance between cost and ranking performance is challenging. To tackle these issues, we introduce a novel documents ranking method called TourRank, which is inspired by the sport tournaments, such as FIFA World Cup. Specifically, we 1) overcome the limitation in input length and reduce the ranking latency by incorporating a multi-stage grouping strategy similar to the parallel group stage of sport tournaments; 2) improve the ranking performance and robustness to input orders by using a points system to ensemble multiple ranking results. We test TourRank with different LLMs on the TREC DL datasets and the BEIR benchmark. The experimental results demonstrate that TourRank delivers state-of-the-art performance at a modest cost. The code of TourRank can be seen on https://github.com/chenyiqun/TourRank.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ゼロショット文書ランキングにますます採用され、賞賛に値する結果をもたらす。 しかし,LLM では,(1) LLM は限られた入力長で制約され,同時に大量の文書を処理できないこと,(2) 出力文書列は文書の入力順序に影響され,その結果,一貫性のないランキング結果が得られること,(3) コストとランキング性能のバランスをとることは困難である。 これらの課題に対処するために,FIFAワールドカップなどのスポーツ大会に触発されたTourRankという新しい文書ランキング手法を導入する。 具体的には 1) 競技大会の並列グループステージと同様の多段階グループ化戦略を取り入れることで、入力長の制限を克服し、ランキング待ち時間を短縮する。 2)複数のランキング結果のアンサンブルにポイントシステムを用いることで,入力順序に対するランキング性能とロバスト性を向上させる。 TREC DLデータセットとBEIRベンチマークで異なるLLMでTourRankをテストする。 実験結果は、TourRankが最先端のパフォーマンスを控えめなコストで提供することを示した。 TourRankのコードはhttps://github.com/chenyiqun/TourRankで見ることができる。

関連論文リスト

• Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models [40.21540137079309]
  LLM(Long-context Language Models)は、単一の推論内で全ての節の完全なランク付けを可能にする。 教師付き微調整環境において,LLMの完全ランク付けにより優れた性能が得られることを示す。 本稿では,リストワイドなラベル構築手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T06:44:59Z)
• Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models [17.420756201557957]
  本稿では, PE-Rankを提案する。 本稿では,これらの特別なトークンに復号空間を動的に制約し,復号処理を高速化する推論手法を提案する。 複数のベンチマークの結果、PE-Rankは、競合するランキング効率を維持しながら、プリフィルとデコードの両方の効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-06-21T03:33:51Z)
• LLM-RankFusion: Mitigating Intrinsic Inconsistency in LLM-based Ranking [17.96316956366718]
  大規模言語モデル(LLM)によるランク付けは、現代の情報検索(IR)システムにおいて有望な性能を達成することができる。 ソートに基づく手法では、パスを正しくソートするには一貫した比較が必要であり、LCMがしばしば違反することを示す。 LLMベースのランキングフレームワークであるLLM-RankFusionを提案する。
  論文  参考訳（メタデータ） (2024-05-31T23:29:42Z)
• Tuna: Instruction Tuning using Feedback from Large Language Models [74.04950416204551]
  本稿では,新しいテキスト確率的ランキングとテキストコンテクスチュアルランキングを用いた命令調整型大規模言語モデルの微調整を提案する。 確率的ランク付けにより、教師のLCMから高品質で低品質なレスポンスの相対的なランク付けを継承することができる。 一方、文脈的ランキングを学習することで、より強いLLMの文脈的理解能力を用いて、モデルが独自の応答分布を洗練できる。
  論文  参考訳（メタデータ） (2023-10-20T09:55:06Z)
• Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
  大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。 我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。 LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
  論文  参考訳（メタデータ） (2023-10-11T17:59:02Z)
• Large Language Models are Zero-Shot Rankers for Recommender Systems [76.02500186203929]
  本研究では,レコメンダシステムのランキングモデルとして機能する大規模言語モデル(LLM)の能力を検討することを目的とする。 LLMにはゼロショットランキング能力があるが、歴史的相互作用の順序を理解するのに苦労していることを示す。 これらの問題は、特別に設計されたプロンプトとブートストラップ戦略によって緩和可能であることを実証する。
  論文  参考訳（メタデータ） (2023-05-15T17:57:39Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses [39.67403439576671]
  本稿では,2つのT5ベースのランキングモデル構造,エンコーダデコーダとエンコーダのみのランキングモデルを提案する。 実験の結果,提案したランキング損失モデルでは,異なる公開テキストランキングデータセットに対して,実質的なランキング性能向上が達成できることがわかった。
  論文  参考訳（メタデータ） (2022-10-12T20:51:49Z)
• PairRank: Online Pairwise Learning to Rank by Divide-and-Conquer [35.199462901346706]
  オンラインモデルランキングのペアワイズ学習を推定することを提案する。 各ラウンドにおいて、候補文書を分割して、推定された対位順に対するモデルの信頼度に応じてランク付けする。 オンラインソリューションの理論的収束と期待されたランキングパフォーマンスを結びつける、誤った順序付けされたペアの数で直接定義された後悔が証明される。
  論文  参考訳（メタデータ） (2021-02-28T01:16:55Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。