論文の概要: KeyB2: Selecting Key Blocks is Also Important for Long Document Ranking with Large Language Models

• arxiv url: http://arxiv.org/abs/2411.06254v1
• Date: Sat, 09 Nov 2024 19:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:55.802668
• Title: KeyB2: Selecting Key Blocks is Also Important for Long Document Ranking with Large Language Models
• Title（参考訳）: KeyB2: 大きな言語モデルによる長いドキュメントランク付けにおいてもキーブロックの選択が重要である
• Authors: Minghan Li, Eric Gaussier, Juntao Li, Guodong Zhou,
• Abstract要約: 大規模言語モデル(LLM)の内部動作は、まだ完全には理解されていない。 ブロックプリグレードとLLMの性能を統合したアドバンストロングドキュメントIRアプローチであるKeyB2を開発した。 KeyB2は、最も関連性の高いブロックを効率よく識別し、処理し、計算コストを削減し、ランキングの有効性を向上させる。
• 参考スコア（独自算出の注目度）: 34.66960897855942
• License:
• Abstract: The rapid development of large language models (LLMs) like Llama has significantly advanced information retrieval (IR) systems. However, using LLMs for long documents, as in RankLLaMA, remains challenging due to computational complexity, especially concerning input token length. Furthermore, the internal mechanisms of LLMs during ranking are still not fully understood. In this paper, we first explore the internal workings of LLMs during relevance judgement and identify that specific attention heads play a crucial role in aligning relevant tokens. This observation inspires us to revisit the block pre-ranking strategy used in KeyB, which remains state-of-the-art (SOTA) on the TREC 2019 DL document ranking dataset. Building on these insights, we develop KeyB2, an advanced long document IR approach that integrates block pre-ranking with the performance of LLMs. KeyB2 efficiently identifies and processes the most relevant blocks, reducing computational costs and improving ranking effectiveness. Additionally, we introduce a new bi-encoder block matching strategy for KeyB2. Comprehensive experiments on long-document datasets, including TREC 2019 DL, Robust04, and MLDR-zh, show that KeyB2 outperforms baselines like RankLLaMA and KeyB by reducing reranking time and GPU memory usage while enhancing retrieval performance, achieving new SOTA results on TREC 2019 DL with higher NDCG@10 and MAP scores.
• Abstract（参考訳）: Llamaのような大規模言語モデル(LLM)の急速な開発により、情報検索(IR)システムが大幅に進歩した。 しかし、LangLLaMAのように長い文書にLLMを使うことは、特に入力トークン長に関して、計算の複雑さのため、依然として困難である。 さらに、ランキング中のLLMの内部メカニズムは、まだ完全には理解されていない。 本稿では、まず、関連性判定におけるLCMの内部動作について検討し、関連するトークンの整合において、特定の注意点が重要な役割を担っていることを確かめる。 この観察は、TREC 2019 DLドキュメントランキングデータセットの最先端(SOTA)であるKeyBで使用されているブロックプリグレード戦略を再考するきっかけとなった。 これらの知見に基づいて,ブロックプリグレードとLLMの性能を統合する,高度な長文IRアプローチであるKeyB2を開発した。 KeyB2は、最も関連性の高いブロックを効率よく識別し、処理し、計算コストを削減し、ランキングの有効性を向上させる。 さらに、KeyB2の新しいバイエンコーダブロックマッチング戦略を導入する。 TREC 2019 DL、Robust04、MLDR-zhなどの長期ドキュメントデータセットに関する総合的な実験によると、KeyB2は、更新時間とGPUメモリ使用量を削減し、検索性能を向上し、より高いNDCG@10とMAPスコアを持つTREC 2019 DLで新たなSOTA結果を達成することにより、RandLLaMAやKeyBのようなベースラインを上回る。

関連論文リスト

• RRADistill: Distilling LLMs' Passage Ranking Ability for Document Re-Ranking of Long-Tail Queries in a Search Engine [2.0379810233726126]
  大規模言語モデル(LLM)は、クエリとドキュメント間の意味的関係を理解するのに優れている。 これらのクエリは、少ないユーザエンゲージメントと限られたフィードバックのため、フィードバックベースのランキングでは難しい。 本稿では,エンコーダモデルとデコーダモデルの両方に対して,効率的なラベル生成パイプラインと新しいsLLMトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:28:06Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Key-Element-Informed sLLM Tuning for Document Summarization [12.083649916114402]
  文書中のキー要素を識別し,これらのキー要素をキャプチャする要約を生成するためのsLLMを指示する,KEITSumと呼ばれるキー要素インフォームド命令チューニングを提案する。 対話とニュースデータセットの実験結果から,KEITSumを用いたsLLMは高い関連性と幻覚の少ない高品質な要約を実現し,プロプライエタリなLLMと競合することを示した。
  論文  参考訳（メタデータ） (2024-06-07T04:19:01Z)
• Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
  本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。 これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。 ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
  論文  参考訳（メタデータ） (2024-05-07T01:56:22Z)
• Integrating LSTM and BERT for Long-Sequence Data Analysis in Intelligent Tutoring Systems [4.359769884713738]
  長周期データ処理,すなわちLBKTのためのLSTM BERTに基づく知識追跡モデルを提案する。 その結果、LBKTはより高速で解釈可能であり、従来のディープラーニングベースの知識追跡手法よりもメモリコストが低いことが示唆された。
  論文  参考訳（メタデータ） (2024-04-24T18:19:44Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• Anchor-based Large Language Models [33.86392289481657]
  本研究ではアンカーベースの自己アテンションネットワーク(AnSAN)とアンカーベースの推論戦略を利用するアンカーベースのLSM(AnLLM)を紹介する。 AnLLMも同様の精度を維持し、最大99%のキー/バリューキャッシュの削減、最大3.5倍の高速推論を実現している。
  論文  参考訳（メタデータ） (2024-02-12T12:48:02Z)
• Multiple Key-value Strategy in Recommendation Systems Incorporating Large Language Model [5.100347807752904]
  インターネットアプリケーションにおいて,レコメンデーションシステム (RS) はユーザ情報に適合する上で重要な役割を担っている。 近年,大規模言語モデル (LLM) が出現し,CVコミュニティとNLPコミュニティの両方で大きなブレークスルーを遂げている。
  論文  参考訳（メタデータ） (2023-10-25T06:49:19Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。