論文の概要: CoRT: Complementary Rankings from Transformers

• arxiv url: http://arxiv.org/abs/2010.10252v2
• Date: Tue, 25 May 2021 13:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 06:39:08.506260
• Title: CoRT: Complementary Rankings from Transformers
• Title（参考訳）: CoRT: トランスフォーマーの補完的なランキング
• Authors: Marco Wrzalik and Dirk Krechel
• Abstract要約: CoRTは、事前訓練された言語モデルからコンテキスト表現を活用する、単純なニューラルネットワークファーストステージランキングモデルである。 BM25を補うことで,CoRTは候補者のリコールを著しく向上させることを示した。 さらに,CoRTを用いた経路探索は驚くほど低レイテンシで実現可能であることを実証した。
• 参考スコア（独自算出の注目度）: 8.37609145576126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent approaches towards neural information retrieval mitigate their computational costs by using a multi-stage ranking pipeline. In the first stage, a number of potentially relevant candidates are retrieved using an efficient retrieval model such as BM25. Although BM25 has proven decent performance as a first-stage ranker, it tends to miss relevant passages. In this context we propose CoRT, a simple neural first-stage ranking model that leverages contextual representations from pretrained language models such as BERT to complement term-based ranking functions while causing no significant delay at query time. Using the MS MARCO dataset, we show that CoRT significantly increases the candidate recall by complementing BM25 with missing candidates. Consequently, we find subsequent re-rankers achieve superior results with less candidates. We further demonstrate that passage retrieval using CoRT can be realized with surprisingly low latencies.
• Abstract（参考訳）: 近年の神経情報検索へのアプローチは多段階ランキングパイプラインを用いて計算コストを軽減している。 第1段階では、bm25のような効率的な検索モデルを用いて、関連する候補を多数検索する。 BM25は1段目のランサーとして十分な性能を発揮しているが、関連するパスを見逃す傾向にある。 この文脈では、BERTのような事前訓練された言語モデルからの文脈表現を利用して、項ベースのランキング関数を補完し、クエリ時に大きな遅延を生じさせない単純なニューラルネットワークファーストステージランキングモデルであるCoRTを提案する。 MS MARCO データセットを用いて, BM25 を補うことで, CoRT が候補リコールを著しく増加させることを示す。 その結果, 結果の少ない再選者では, 成績が良好であることが判明した。 さらに,CoRTを用いた経路探索は驚くほど低レイテンシで実現できることを示す。

関連論文リスト

• An Early FIRST Reproduction and Improvements to Single-Token Decoding for Fast Listwise Reranking [50.81324768683995]
  FIRSTは、学習からランクへの目的を統合し、最初の生成されたトークンのみのロジットを活用する新しいアプローチである。 我々は、FIRSTの評価をTRECディープラーニングデータセット(DL19-22)に拡張し、様々な領域でその堅牢性を検証する。 我々の実験は、単一トークンの高速リランクは、ドメイン外リランクの品質を損なうものではないことを確認した。
  論文  参考訳（メタデータ） (2024-11-08T12:08:17Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Generative Relevance Feedback and Convergence of Adaptive Re-Ranking: University of Glasgow Terrier Team at TREC DL 2023 [20.95345024616033]
  本稿では,TREC 2023 Deep Learning Trackへの参加について述べる。 我々は、ゼロショットと擬似関連の両方のフィードバック設定において、大きな言語モデルから生成的関連性フィードバックを適用するランを提出した。 生成的クエリ再構成の適用により,性能が向上した。
  論文  参考訳（メタデータ） (2024-05-02T09:36:00Z)
• Efficient Inverted Indexes for Approximate Retrieval over Learned Sparse Representations [8.796275989527054]
  本稿では,学習したスパース埋め込みを高速に検索できる逆インデックスの新たな組織を提案する。 提案手法では,逆リストを幾何学的に結合したブロックに整理し,それぞれに要約ベクトルを備える。 以上の結果から, 地震動は, 最先端の逆インデックスベースソリューションよりも1～2桁高速であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-29T15:49:27Z)
• Sequencing Matters: A Generate-Retrieve-Generate Model for Building Conversational Agents [9.191944519634111]
  Georgetown InfoSense GroupはTREC iKAT 2023の課題を解決するために活動している。 提案手法は, 各カット数, 総合成功率において, nDCG において高い性能を示した。 我々のソリューションは、初期回答にLarge Language Models (LLMs) を用いること、BM25による回答基盤、ロジスティック回帰による通過品質フィルタリング、LLMによる回答生成である。
  論文  参考訳（メタデータ） (2023-11-16T02:37:58Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Provably Convergent Subgraph-wise Sampling for Fast GNN Training [122.68566970275683]
  収束保証,すなわちローカルメッセージ補償(LMC)を用いた新しいサブグラフワイズサンプリング手法を提案する。 LMCは、後方パスのメッセージパスの定式化に基づいて、後方パスで破棄されたメッセージを検索する。 大規模ベンチマーク実験により、LCCは最先端のサブグラフワイドサンプリング法よりもはるかに高速であることが示された。
  論文  参考訳（メタデータ） (2023-03-17T05:16:49Z)
• HYRR: Hybrid Infused Reranking for Passage Retrieval [18.537666294601458]
  Hybrid Infused Re rank for Passages Retrievalは、BM25とニューラル検索モデルのハイブリッドに基づいて、リランカをトレーニングするためのフレームワークである。 我々は,MS MARCOとBEIRを用いたゼロショット検索タスクを用いた教師付きパス検索タスクの評価を行った。
  論文  参考訳（メタデータ） (2022-12-20T18:44:21Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Towards Unsupervised Dense Information Retrieval with Contrastive Learning [38.42033176712396]
  比較学習は教師なし高密度検索者の学習に有効であることを示す。 私たちのモデルは15のデータセットのうち11でBM25より優れています。
  論文  参考訳（メタデータ） (2021-12-16T18:57:37Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。