論文の概要: Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models

• arxiv url: http://arxiv.org/abs/2412.14574v1
• Date: Thu, 19 Dec 2024 06:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:35.839780
• Title: Sliding Windows Are Not the End: Exploring Full Ranking with Long-Context Large Language Models
• Title（参考訳）: Windowsのスライディングは終わりではない - 長期の大規模言語モデルによる完全なランク付けを探る
• Authors: Wenhan Liu, Xinyu Ma, Yutao Zhu, Ziliang Zhao, Shuaiqiang Wang, Dawei Yin, Zhicheng Dou,
• Abstract要約: LLM(Long-context Language Models)は、単一の推論内で全ての節の完全なランク付けを可能にする。 教師付き微調整環境において,LLMの完全ランク付けにより優れた性能が得られることを示す。 本稿では,リストワイドなラベル構築手法を提案する。
• 参考スコア（独自算出の注目度）: 40.21540137079309
• License:
• Abstract: Large Language Models (LLMs) have shown exciting performance in listwise passage ranking. Due to the limited input length, existing methods often adopt the sliding window strategy. Such a strategy, though effective, is inefficient as it involves repetitive and serialized processing, which usually re-evaluates relevant passages multiple times. As a result, it incurs redundant API costs, which are proportional to the number of inference tokens. The development of long-context LLMs enables the full ranking of all passages within a single inference, avoiding redundant API costs. In this paper, we conduct a comprehensive study of long-context LLMs for ranking tasks in terms of efficiency and effectiveness. Surprisingly, our experiments reveal that full ranking with long-context LLMs can deliver superior performance in the supervised fine-tuning setting with a huge efficiency improvement. Furthermore, we identify two limitations of fine-tuning the full ranking model based on existing methods: (1) sliding window strategy fails to produce a full ranking list as a training label, and (2) the language modeling loss cannot emphasize top-ranked passage IDs in the label. To alleviate these issues, we propose a new complete listwise label construction approach and a novel importance-aware learning objective for full ranking. Experiments show the superior performance of our method over baselines. Our codes are available at \url{https://github.com/8421BCD/fullrank}.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、リストワイドの通過ランキングでエキサイティングなパフォーマンスを示している。 入力長が限られているため、既存の手法ではスライディングウィンドウ戦略を採用することが多い。 このような戦略は効果的ではあるが、繰り返しおよびシリアライズされた処理を伴うため非効率であり、通常は関連するパスを何度も再評価する。 その結果、推論トークンの数に比例する冗長なAPIコストが発生する。 長文LLMの開発により、冗長なAPIコストを回避し、単一の推論内ですべてのパスの完全なランク付けが可能になる。 本稿では,長文LLMを効率と有効性の観点から総合的に研究する。 意外なことに、我々の実験では、長いコンテキストのLLMを用いた完全なランキングは、教師付き微調整環境において、大幅な効率向上を実現し、優れた性能が得られることが判明した。 さらに,既存の手法に基づいて,完全なランキングモデルを微調整する2つの制限を同定する。(1)スライディングウインドウ戦略はトレーニングラベルとして完全なランキングリストを作成することができず,(2)言語モデリング損失はラベルの上位パスIDを強調できない。 これらの問題を緩和するために、リストワイドなラベル構築手法と、完全ランク付けのための新しい重要認識学習目標を提案する。 実験の結果,本手法はベースラインよりも優れた性能を示した。 我々のコードは \url{https://github.com/8421BCD/fullrank} で入手できる。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Leveraging Passage Embeddings for Efficient Listwise Reranking with Large Language Models [17.420756201557957]
  本稿では, PE-Rankを提案する。 本稿では,これらの特別なトークンに復号空間を動的に制約し,復号処理を高速化する推論手法を提案する。 複数のベンチマークの結果、PE-Rankは、競合するランキング効率を維持しながら、プリフィルとデコードの両方の効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-06-21T03:33:51Z)
• TourRank: Utilizing Large Language Models for Documents Ranking with a Tournament-Inspired Strategy [33.29528653675811]
  大規模言語モデル(LLM)は、ゼロショット文書ランキングにますます採用され、賞賛に値する結果をもたらす。 本研究ではトーナメント機構に触発されたTourRankという新しい文書ランキング手法を提案する。 この手法は知的グループ化によってLLMの限られた入力長の影響を軽減するが、トーナメントのようなポイントシステムはロバストなランキングを保証する。
  論文  参考訳（メタデータ） (2024-06-17T15:58:22Z)
• EcoRank: Budget-Constrained Text Re-ranking Using Large Language Models [6.109188517569139]
  我々は予算が与えられた業績を最大化する方法について研究する。 本稿では,テキストの再ランク付けを行うための予算制約付き手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T18:03:42Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。