論文の概要: List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation

• arxiv url: http://arxiv.org/abs/2402.02764v1
• Date: Mon, 5 Feb 2024 06:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 17:37:22.686110
• Title: List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation
• Title（参考訳）: 検索・検索付加生成のためのリスト対応リグレード・トランケーション・ジョイントモデル
• Authors: Shicheng Xu, Liang Pang, Jun Xu, Huawei Shen, Xueqi Cheng
• Abstract要約: 本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
• 参考スコア（独自算出の注目度）: 80.12531449946655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The results of information retrieval (IR) are usually presented in the form of a ranked list of candidate documents, such as web search for humans and retrieval-augmented generation for large language models (LLMs). List-aware retrieval aims to capture the list-level contextual features to return a better list, mainly including reranking and truncation. Reranking finely re-scores the documents in the list. Truncation dynamically determines the cut-off point of the ranked list to achieve the trade-off between overall relevance and avoiding misinformation from irrelevant documents. Previous studies treat them as two separate tasks and model them separately. However, the separation is not optimal. First, it is hard to share the contextual information of the ranking list between the two tasks. Second, the separate pipeline usually meets the error accumulation problem, where the small error from the reranking stage can largely affect the truncation stage. To solve these problems, we propose a Reranking-Truncation joint model (GenRT) that can perform the two tasks concurrently. GenRT integrates reranking and truncation via generative paradigm based on encoder-decoder architecture. We also design the novel loss functions for joint optimization to make the model learn both tasks. Sharing parameters by the joint model is conducive to making full use of the common modeling information of the two tasks. Besides, the two tasks are performed concurrently and co-optimized to solve the error accumulation problem between separate stages. Experiments on public learning-to-rank benchmarks and open-domain Q\&A tasks show that our method achieves SOTA performance on both reranking and truncation tasks for web search and retrieval-augmented LLMs.
• Abstract（参考訳）: 情報検索(IR)の結果は通常、人間のウェブ検索や大規模言語モデル(LLM)の検索強化生成など、候補文書のランク付けされたリストの形式で提示される。 リストアウェア検索は、リストレベルのコンテキスト機能をキャプチャして、リストを返却することを目的としている。 リスト内の文書を細かく再スコアする。 トランケーションは、ランクリストのカットオフポイントを動的に決定し、関連性全体のトレードオフと無関係な文書からの誤情報を避ける。 以前の研究では、それらを2つの別々のタスクとして扱い、個別にモデル化した。 しかし、分離は最適ではない。 まず,2つのタスク間でランキングリストのコンテキスト情報を共有することは困難である。 第二に、分離されたパイプラインは通常エラー蓄積問題に満ちており、再ランキングステージからの小さなエラーがトランザクションステージに大きく影響する可能性がある。 これらの問題を解決するために,2つのタスクを同時に実行可能なRe rank-Truncation Joint Model (GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 また, 協調最適化のための新しい損失関数を設計し, モデルが両方のタスクを学習できるようにする。 ジョイントモデルによるパラメータの共有は、この2つのタスクの共通モデリング情報を最大限に活用することにつながる。 さらに、2つのタスクを同時に実行し、異なるステージ間のエラー蓄積問題を解決するために協調最適化する。 オープンドメインQ&Aタスクと公開学習ベンチマークを用いた実験により,Web検索および検索拡張 LLM における再ランク化タスクとトランケーションタスクの両方においてSOTA性能が達成された。

関連論文リスト

• Hierarchical Retrieval-Augmented Generation Model with Rethink for Multi-hop Question Answering [24.71247954169364]
  マルチホップ質問回答 (Multi-hop Question Answering, QA) は、複雑な質問を解決するために複数の情報を統合することで複雑な推論を必要とする。 既存のQAシステムは、時代遅れの情報、コンテキストウィンドウの長さ制限、精度-量トレードオフといった課題に直面する。 本稿では,Decomposer,Definer,Retriever,Filter,Summarizerの5つのキーモジュールからなる,階層型検索拡張生成モデル(HiRAG)を提案する。
  論文  参考訳（メタデータ） (2024-08-20T09:29:31Z)
• Rethinking Object Saliency Ranking: A Novel Whole-flow Processing Paradigm [22.038715439842044]
  本稿では、その「重要順」によって、有能な物体のランク付けに完全にフォーカスすることを目的とした、有能なランキングのための新しいパラダイムを提案する。 提案手法は、広く使われているSALICONの既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-06T01:51:03Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network [83.64416937454801]
  ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。 求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。 我々のモデルは求人マッチングの最先端手法より優れている。
  論文  参考訳（メタデータ） (2020-09-25T03:09:54Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。