論文の概要: Deep Natural Language Processing for LinkedIn Search
- arxiv url: http://arxiv.org/abs/2108.13300v1
- Date: Mon, 16 Aug 2021 23:37:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-05 08:52:08.253603
- Title: Deep Natural Language Processing for LinkedIn Search
- Title(参考訳): LinkedIn検索のためのディープ自然言語処理
- Authors: Weiwei Guo, Xiaowei Liu, Sida Wang, Michaeel Kazi, Zhiwei Wang,
Zhoutong Fu, Jun Jia, Liang Zhang, Huiji Gao, Bo Long
- Abstract要約: 検索システムの構築には,テキストデータセマンティクスの理解が不可欠である。
ディープラーニングベースの自然言語処理技術(ディープNLP)は、非常に役に立ちます。
この作業はLinkedIn検索の既存の取り組みに基づいており、LinkedInの商用検索エンジンで大規模にテストされている。
- 参考スコア(独自算出の注目度): 20.617887422918194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many search systems work with large amounts of natural language data, e.g.,
search queries, user profiles, and documents. Building a successful search
system requires a thorough understanding of textual data semantics, where deep
learning based natural language processing techniques (deep NLP) can be of
great help. In this paper, we introduce a comprehensive study for applying deep
NLP techniques to five representative tasks in search systems: query intent
prediction (classification), query tagging (sequential tagging), document
ranking (ranking), query auto completion (language modeling), and query
suggestion (sequence to sequence). We also introduce BERT pre-training as a
sixth task that can be applied to many of the other tasks. Through the model
design and experiments of the six tasks, readers can find answers to four
important questions: (1). When is deep NLP helpful/not helpful in search
systems? (2). How to address latency challenges? (3). How to ensure model
robustness? This work builds on existing efforts of LinkedIn search, and is
tested at scale on LinkedIn's commercial search engines. We believe our
experiences can provide useful insights for the industry and research
communities.
- Abstract(参考訳): 多くの検索システムは、検索クエリ、ユーザプロファイル、ドキュメントなど、大量の自然言語データを扱う。
ディープラーニングに基づく自然言語処理(deep nlp)が有効な検索システムを構築するには,テキストデータセマンティクスを徹底的に理解する必要がある。
本稿では,クエリインテント予測(分類),クエリタグ付け(系列タグ),ドキュメントランキング(ランク),クエリ自動補完(言語モデリング),クエリ提案(系列)の5つの代表的なタスクに対して,深いnlp手法を適用するための包括的研究を行う。
また、他の多くのタスクに適用可能な6番目のタスクとしてBERT事前トレーニングを導入します。
6つのタスクのモデル設計と実験を通じて、読者は4つの重要な質問に対する回答を見つけることができる。
ディープNLPはいつ検索システムで役立つのか?
(2).
レイテンシの課題に対処するには?
(3).
モデルの堅牢性を保証するには?
この作業はLinkedIn検索の既存の取り組みに基づいており、LinkedInの商用検索エンジンで大規模にテストされている。
私たちの経験は、業界や研究コミュニティに有用な洞察を与えることができると信じています。
関連論文リスト
- Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。
全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。
提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
論文 参考訳(メタデータ) (2023-10-23T05:52:09Z) - Surveying the Landscape of Text Summarization with Deep Learning: A
Comprehensive Review [2.4185510826808487]
ディープラーニングは、言語データの複雑な表現を学習できるモデルの開発を可能にすることによって、自然言語処理(NLP)に革命をもたらした。
NLPのディープラーニングモデルは、通常、大量のデータを使用してディープニューラルネットワークをトレーニングし、言語データ内のパターンと関係を学習する。
テキスト要約にディープラーニングを適用することは、テキスト要約タスクを実行するためにディープニューラルネットワークを使用することを指す。
論文 参考訳(メタデータ) (2023-10-13T21:24:37Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳(メタデータ) (2023-06-16T09:40:05Z) - DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System
for Multilingual Named Entity Recognition [94.90258603217008]
MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。
MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。
細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
論文 参考訳(メタデータ) (2023-05-05T16:59:26Z) - Task Oriented Conversational Modelling With Subjective Knowledge [0.0]
DSTC-11は、ターン検出、知識選択、応答生成を求める知識からなる3段階パイプラインを提案する。
本稿では,正確で高速な知識検索を実現するエンティティ検索手法を提案する。
予備的な結果から,知識選択作業における一致点の精度は4%向上した。
論文 参考訳(メタデータ) (2023-03-30T20:23:49Z) - Generate rather than Retrieve: Large Language Models are Strong Context
Generators [74.87021992611672]
本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。
我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
論文 参考訳(メタデータ) (2022-09-21T01:30:59Z) - Deep Natural Language Processing for LinkedIn Search Systems [19.3087606162654]
検索エンジンにおける5つの代表的なタスクにディープNLP技術を適用するための総合的研究を紹介する。
この作業はLinkedIn検索の既存の取り組みに基づいており、商用検索エンジンで大規模にテストされている。
論文 参考訳(メタデータ) (2021-07-30T17:40:36Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳(メタデータ) (2020-10-04T19:03:39Z) - DeText: A Deep Text Ranking Framework with BERT [20.26046057139722]
本稿では,BERTをベースとした効率的なランキングモデルの構築方法について検討する。
ソリューションはさらに、オープンソースの一般的なランキングフレームワークであるDeTextにも拡張されている。
論文 参考訳(メタデータ) (2020-08-06T05:12:11Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳(メタデータ) (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。