論文の概要: DeText: A Deep Text Ranking Framework with BERT
- arxiv url: http://arxiv.org/abs/2008.02460v1
- Date: Thu, 6 Aug 2020 05:12:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 07:28:08.506434
- Title: DeText: A Deep Text Ranking Framework with BERT
- Title(参考訳): DeText:BERTを使ったディープテキストランキングフレームワーク
- Authors: Weiwei Guo, Xiaowei Liu, Sida Wang, Huiji Gao, Ananth Sankar, Zimeng
Yang, Qi Guo, Liang Zhang, Bo Long, Bee-Chung Chen and Deepak Agarwal
- Abstract要約: 本稿では,BERTをベースとした効率的なランキングモデルの構築方法について検討する。
ソリューションはさらに、オープンソースの一般的なランキングフレームワークであるDeTextにも拡張されている。
- 参考スコア(独自算出の注目度): 20.26046057139722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ranking is the most important component in a search system. Mostsearch
systems deal with large amounts of natural language data,hence an effective
ranking system requires a deep understandingof text semantics. Recently, deep
learning based natural languageprocessing (deep NLP) models have generated
promising results onranking systems. BERT is one of the most successful models
thatlearn contextual embedding, which has been applied to capturecomplex
query-document relations for search ranking. However,this is generally done by
exhaustively interacting each query wordwith each document word, which is
inefficient for online servingin search product systems. In this paper, we
investigate how tobuild an efficient BERT-based ranking model for industry use
cases.The solution is further extended to a general ranking framework,DeText,
that is open sourced and can be applied to various rankingproductions. Offline
and online experiments of DeText on threereal-world search systems present
significant improvement overstate-of-the-art approaches.
- Abstract(参考訳): ランキングは検索システムにおいて最も重要な要素である。
ほとんどの検索システムは大量の自然言語データを扱うが、効果的なランキングシステムはテキストの意味を深く理解する必要がある。
近年,深層学習に基づく自然言語処理(deep nlp)モデルがシステム評価に有望な結果をもたらしている。
BERTは、検索ランク付けのための複雑なクエリ-ドキュメント関係に応用された、コンテキスト埋め込みを導く最も成功したモデルの1つである。
しかし、一般的には、各クエリワードと各ドキュメントワードを徹底的に相互作用させることで、これはオンラインサーブイン検索製品システムでは非効率である。
本稿では,BERTをベースとした効率的なランキングモデルの構築方法について検討し,オープンソースで様々なランキング作成に適用可能な一般的なランキングフレームワークであるDeTextにさらに拡張する。
3実世界の検索システムにおけるデテキストのオフラインおよびオンライン実験では、最先端のアプローチが大幅に改善されている。
関連論文リスト
- Effective and Efficient Conversation Retrieval for Dialogue State
Tracking with Implicit Text Summaries [51.11997829609478]
LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。
従来は検索キーやクエリとして生の対話コンテキストを使用していた。
会話のテキスト要約に基づいて会話検索を行う。
LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
論文 参考訳(メタデータ) (2024-02-20T14:31:17Z) - Improving Natural Language Understanding with Computation-Efficient
Retrieval Representation Fusion [23.276081846972236]
検索に基づく拡張は、質問応答やテキスト生成など、様々な知識集約(KI)タスクにおいて大きな成功を収めている。
しかし,テキスト分類などの非知識集約型タスクにおける検索の統合は依然として困難である。
本稿では,ニューラルネットワークを用いた計算効率の高いtextbfRetrieval 表現 textbfFusion を提案する。
論文 参考訳(メタデータ) (2024-01-04T07:39:26Z) - Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep
Learning Track [22.81602641419962]
本稿では,ハイブリッドテキスト検索と多段階テキストランキング法について解説する。
ランキング段階では,大規模な事前学習言語モデルに基づく対話型ランキングモデルに加えて,軽量なサブランクモジュールも提案する。
本モデルでは, 通過ランキングと文書ランキングの試験セットにおいて, それぞれ第1位と第4位を達成している。
論文 参考訳(メタデータ) (2023-08-23T09:56:59Z) - Towards Better Query Classification with Multi-Expert Knowledge
Condensation in JD Ads Search [12.701416688678622]
浅いモデル FastText は効率的なオンライン推論に広く使われている。
BERTは効果的なソリューションですが、オンライン推論のレイテンシが高くなり、計算コストも高くなります。
本稿では,厳密な低レイテンシ制約下でのオンラインFastTextモデルの分類性能を高めるための知識凝縮法を提案する。
論文 参考訳(メタデータ) (2023-08-02T12:05:01Z) - Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。
3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
論文 参考訳(メタデータ) (2023-05-03T14:45:34Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳(メタデータ) (2022-04-22T10:45:01Z) - Hierarchical Neural Network Approaches for Long Document Classification [3.6700088931938835]
我々は、より効率的な表現を効率よく捉えるために、事前訓練された普遍文(USE)と変換器からの双方向表現(BERT)を階層的に採用する。
提案するモデルは概念的に単純であり,入力データをチャンクに分割し,BERTとUSEのベースモデルに渡す。
USE + CNN/LSTM はスタンドアローンのベースラインよりも優れており、BERT + CNN/LSTM はスタンドアローンのベースラインと同等である。
論文 参考訳(メタデータ) (2022-01-18T07:17:40Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳(メタデータ) (2020-10-13T15:20:32Z) - Table Search Using a Deep Contextualized Language Model [20.041167804194707]
本稿では、アドホックテーブル検索のタスクに、文脈化言語モデルBERTを用いる。
本稿では,テーブル検索における先行文献の特徴を取り入れた手法を提案し,BERTと共同で学習する。
論文 参考訳(メタデータ) (2020-05-19T04:18:04Z) - A Study on Efficiency, Accuracy and Document Structure for Answer
Sentence Selection [112.0514737686492]
本稿では,単語関連エンコーダとともに,原語階の内在的構造を活用すれば,競争的な結果が得られることを論じる。
私たちのモデルはWikiQAデータセットでトレーニングするのに9.5秒かかります。
論文 参考訳(メタデータ) (2020-03-04T22:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。