論文の概要: HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking

• arxiv url: http://arxiv.org/abs/2205.10569v1
• Date: Sat, 21 May 2022 11:38:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 16:31:10.040440
• Title: HLATR: Enhance Multi-stage Text Retrieval with Hybrid List Aware Transformer Reranking
• Title（参考訳）: HLATR:ハイブリッドリスト対応変圧器リグレードによる多段階テキスト検索
• Authors: Yanzhao Zhang, Dingkun Long, Guangwei Xu, Pengjun Xie
• Abstract要約: HLATR(Hybrid List Aware Transformer Re rank)は、検索機能とステージ機能の両方を組み込んだ後継モジュールである。 HLATRは軽量で、既存のテキスト検索システムと容易に並列化できる。 2つの大規模テキスト検索データセットの実証実験により、HLATRは既存の多段階テキスト検索手法のランク付け性能を効率的に向上できることが示された。
• 参考スコア（独自算出の注目度）: 16.592276887533714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep pre-trained language models (e,g. BERT) are effective at large-scale text retrieval task. Existing text retrieval systems with state-of-the-art performance usually adopt a retrieve-then-reranking architecture due to the high computational cost of pre-trained language models and the large corpus size. Under such a multi-stage architecture, previous studies mainly focused on optimizing single stage of the framework thus improving the overall retrieval performance. However, how to directly couple multi-stage features for optimization has not been well studied. In this paper, we design Hybrid List Aware Transformer Reranking (HLATR) as a subsequent reranking module to incorporate both retrieval and reranking stage features. HLATR is lightweight and can be easily parallelized with existing text retrieval systems so that the reranking process can be performed in a single yet efficient processing. Empirical experiments on two large-scale text retrieval datasets show that HLATR can efficiently improve the ranking performance of existing multi-stage text retrieval methods.
• Abstract（参考訳）: 深い事前訓練された言語モデル(例えばBERT)は、大規模テキスト検索タスクに有効である。 既存のテキスト検索システムでは、事前訓練された言語モデルの計算コストが高く、コーパスサイズが大きいため、検索可能なアーキテクチャを採用するのが一般的である。 このような多段階アーキテクチャの下では、従来の研究は主にフレームワークの単一ステージの最適化に重点を置いており、全体的な検索性能が向上した。 しかし、最適化のためのマルチステージ機能を直接結合する方法は研究されていない。 本稿では,HLATR(Hybrid List Aware Transformer Re rank)を,検索機能とステージ機能の両方を組み込んだ後続のリランクモジュールとして設計する。 hlatrは軽量であり、既存のテキスト検索システムと容易に並列化できるので、再ランキング処理を単一の効率的な処理で行える。 2つの大規模テキスト検索データセットの実証実験により、HLATRは既存の多段階テキスト検索手法のランク付け性能を効率的に向上できることが示された。

関連論文リスト

• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• Contextualization with SPLADE for High Recall Retrieval [5.973857434357868]
  ハイリコール検索(High Recall Retrieval, HRR)は、あるコレクション内の最も関連性の高い文書を検索するコストを最適化する検索問題である。 本研究では,文書を文脈化されたスパースベクトルに変換する効率的な検索モデルであるSPLADEを活用する。 2つのHRR評価コレクションのレビューコストの10%と18%を1フェーズのレビューワークフローで削減し、80%のリコールを目標としている。
  論文  参考訳（メタデータ） (2024-05-07T03:05:37Z)
• Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track [22.81602641419962]
  本稿では,ハイブリッドテキスト検索と多段階テキストランキング法について解説する。 ランキング段階では,大規模な事前学習言語モデルに基づく対話型ランキングモデルに加えて,軽量なサブランクモジュールも提案する。 本モデルでは, 通過ランキングと文書ランキングの試験セットにおいて, それぞれ第1位と第4位を達成している。
  論文  参考訳（メタデータ） (2023-08-23T09:56:59Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)
• Text Simplification by Tagging [21.952293614293392]
  シーケンスタギングに基づくシンプルで効率的なテキスト簡略化システムであるTSTを提案する。 本システムでは,既存のシステム上でのトレーニングや推論において,簡易なデータ拡張と微調整を行う。 現在のテキスト簡略化システムよりも11倍以上高速な推論速度を実現します。
  論文  参考訳（メタデータ） (2021-03-08T20:57:55Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。