Fugu-MT 論文翻訳(概要): ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT

論文の概要: ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT

arxiv url: http://arxiv.org/abs/2004.12832v2
Date: Thu, 4 Jun 2020 05:28:21 GMT
ステータス: 処理完了
システム内更新日: 2022-12-09 05:37:50.910363
Title: ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Title（参考訳）: ColBERT: BERT上のコンテキスト化遅延インタラクションによる効率的かつ効果的なパス検索
Authors: Omar Khattab and Matei Zaharia
Abstract要約: ColBERTは、ディープLMを効率的な検索に適応させる新しいランキングモデルである。我々は最近の2つの経路探索データセットを用いてColBERTを広範囲に評価した。
参考スコア（独自算出の注目度）: 24.288824715337483
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to fine-tuning deep language models (LMs) for document ranking. While remarkably effective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for efficient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their fine-grained similarity. By delaying and yet retaining this fine-granular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations offline, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's effectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.
Abstract（参考訳）: 自然言語理解(NLU)の最近の進歩は、文書ランキングのための微調整深層言語モデル(LM)に大きく依存する情報検索(IR)の急速な進歩を推進している。非常に効果的ではあるが、これらのLMに基づくランキングモデルは、特に1つの関連スコアを計算するために、巨大なニューラルネットワークを介してクエリとドキュメントのペアを供給する必要があるため、以前のアプローチよりも桁違いに計算コストを増大させる。そこで本研究では,深いLM(特にBERT)を効率よく検索する新しいランキングモデルであるColBERTを提案する。 ColBERTは、クエリとドキュメントを独立してBERTを使ってエンコードする遅延インタラクションアーキテクチャを導入し、その上で、きめ細かい類似性をモデル化する、安価で強力なインタラクションステップを採用している。 ColBERTは、この微粒な相互作用を遅らせながら保持することにより、深いLMの表現性を生かし、同時に文書表現をオフラインでプリコンパイルし、クエリ処理を大幅に高速化する。 ColBERTのプルーニングフレンドリーなインタラクションメカニズムは、従来のモデルで取得したドキュメントの再ランク付けコストの削減に加えて、大規模なドキュメントコレクションから直接、エンドツーエンドの検索にベクトル類似性インデックスを活用することができる。最近の2つの経路探索データセットを用いてColBERTを広範囲に評価した。 ColBERTの有効性は既存のBERTベースモデルと競合し(かつBERTベースラインを全て上回る)、2桁の命令を高速に実行し、4桁の命令を要求されるクエリあたりのFLOPを少なくすることを示している。

関連論文リスト

DocMamba: Efficient Document Pre-training with State Space Model [56.84200017560988]
本稿では,状態空間モデルに基づく新しいフレームワークDocMambaを紹介する。グローバルなモデリング能力を保ちながら、計算複雑性を線形に減らすように設計されている。 HRDocの実験では、DocMambaの長さ外挿の可能性が確認された。
論文参考訳（メタデータ） (2024-09-18T11:34:28Z)
Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever [6.221757399678299]
ColBERTの遅延相互作用評価は、クロスエンコーダに見られる共同クエリ文書の注意を近似する。我々の新しいモデルであるJina-ColBERT-v2は、英語および多言語検索タスクで高い性能を示す。
論文参考訳（メタデータ） (2024-08-29T16:21:00Z)
Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
論文参考訳（メタデータ） (2024-06-25T22:50:48Z)
ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文参考訳（メタデータ） (2024-06-25T12:47:04Z)
SPLATE: Sparse Late Interaction Retrieval [13.607085390630647]
SPLATEは、MLMアダプタを学習するColBERTv2モデルの軽量化である。パイプラインはPLAID ColBERTv2エンジンと同じ効率を10ms以下で検索可能な50の文書を再ランク付けすることで実現している。
論文参考訳（メタデータ） (2024-04-22T07:51:13Z)
Introducing Neural Bag of Whole-Words with ColBERTer: Contextualized Late Interactions using Enhanced Reduction [10.749746283569847]
ColBERTerは、文脈化された遅延相互作用(ColBERT)と強化されたリダクションを用いたニューラル検索モデルである。マルチベクタコンポーネントのために、ColBERTerは、各ドキュメントの用語に対するユニークな全ワード表現を学習することで、ドキュメントごとの格納数を減らす。 MS MARCOとTREC-DLのコレクションの結果から、ColBERTerは最大2.5倍のストレージフットプリントを削減できるが、有効性は維持できる。
論文参考訳（メタデータ） (2022-03-24T14:28:07Z)
Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。 USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
論文参考訳（メタデータ） (2022-01-18T07:17:40Z)
TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference [54.791572981834435]
既存の訓練済み言語モデル(PLM)は推論において計算コストがかかることが多い。 TR-BERT と呼ばれる PLM の推論を高速化する動的トークン削減手法を提案する。 TR-BERTは、トークン削減プロセスを多段階のトークン選択問題として定式化し、強化学習を通じて選択戦略を自動的に学習する。
論文参考訳（メタデータ） (2021-05-25T02:28:51Z)
A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection [112.0514737686492]
本稿では,単語関連エンコーダとともに,原語階の内在的構造を活用すれば,競争的な結果が得られることを論じる。私たちのモデルはWikiQAデータセットでトレーニングするのに9.5秒かかります。
論文参考訳（メタデータ） (2020-03-04T22:12:18Z)
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding [90.85913515409275]
近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。 SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
論文参考訳（メタデータ） (2020-02-28T08:18:37Z)
TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for Efficient Retrieval [11.923682816611716]
本稿では,効率的な検索のためのTwinBERTモデルを提案する。クエリとドキュメントをそれぞれ表現するBERTライクなエンコーダがツイン構造化されている。ドキュメントの埋め込みはオフラインでプリコンパイルされ、メモリにキャッシュされる。
論文参考訳（メタデータ） (2020-02-14T22:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。