論文の概要: Hybrid Encoder: Towards Efficient and Precise Native AdsRecommendation
via Hybrid Transformer Encoding Networks
- arxiv url: http://arxiv.org/abs/2104.10925v1
- Date: Thu, 22 Apr 2021 08:42:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 20:43:45.689859
- Title: Hybrid Encoder: Towards Efficient and Precise Native AdsRecommendation
via Hybrid Transformer Encoding Networks
- Title（参考訳）: ハイブリッドエンコーダ:ハイブリッドトランスフォーマーエンコーダネットワークによる効率的かつ高精度なネイティブアドスメンテーション
- Authors: Junhan Yang, Zheng Liu, Bowen Jin, Jianxun Lian, Defu Lian, Akshay
Soni, Eun Yong Kang, Yajun Wang, Guangzhong Sun, Xing Xie
- Abstract要約: 2ステップ連続で効率的かつ正確なネイティブ広告推薦を行うハイブリッドエンコーダを提案します。
検索ステップでは、ユーザと広告をシアム成分で符号化し、関連する候補をANN検索を介して検索する。
ランキングステップでは、各広告に絡み合った埋め込みと広告に関連する埋め込みを各ユーザーで表現し、高品質の広告のきめ細やかな選択に貢献します。
- 参考スコア（独自算出の注目度）: 35.23357369711469
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer encoding networks have been proved to be a powerful tool of
understanding natural languages. They are playing a critical role in native ads
service, which facilitates the recommendation of appropriate ads based on
user's web browsing history. For the sake of efficient recommendation,
conventional methods would generate user and advertisement embeddings
independently with a siamese transformer encoder, such that approximate nearest
neighbour search (ANN) can be leveraged. Given that the underlying semantic
about user and ad can be complicated, such independently generated embeddings
are prone to information loss, which leads to inferior recommendation quality.
Although another encoding strategy, the cross encoder, can be much more
accurate, it will lead to huge running cost and become infeasible for realtime
services, like native ads recommendation. In this work, we propose hybrid
encoder, which makes efficient and precise native ads recommendation through
two consecutive steps: retrieval and ranking. In the retrieval step, user and
ad are encoded with a siamese component, which enables relevant candidates to
be retrieved via ANN search. In the ranking step, it further represents each ad
with disentangled embeddings and each user with ad-related embeddings, which
contributes to the fine-grained selection of high-quality ads from the
candidate set. Both steps are light-weighted, thanks to the pre-computed and
cached intermedia results. To optimize the hybrid encoder's performance in this
two-stage workflow, a progressive training pipeline is developed, which builds
up the model's capability in the retrieval and ranking task step-by-step. The
hybrid encoder's effectiveness is experimentally verified: with very little
additional cost, it outperforms the siamese encoder significantly and achieves
comparable recommendation quality as the cross encoder.
- Abstract（参考訳）: トランスフォーマー符号化ネットワークは自然言語を理解する強力なツールであることが証明されている。
彼らは、ユーザのWeb閲覧履歴に基づいて適切な広告を推奨するネイティブ広告サービスにおいて、重要な役割を演じている。
効率的な推奨のために、従来の手法では、シームトランスエンコーダと独立してユーザーおよび広告埋め込みを生成し、近似近辺探索(ann)を活用できる。
ユーザと広告に関する基本的な意味が複雑であることを考えると、このような独立して生成された埋め込みは情報損失を招きやすいため、推奨品質は低下する。
もうひとつのエンコーディング戦略であるクロスエンコーダは、はるかに正確だが、実行コストが大きくなり、ネイティブ広告レコメンデーションのようなリアルタイムサービスでは実現不可能になる。
本研究では,検索とランキングという2つのステップを通じて,効率よく正確なネイティブ広告推薦を行うハイブリッドエンコーダを提案する。
検索ステップでは、ユーザと広告をシアム成分で符号化し、関連する候補をANN検索を介して検索する。
ランキングステップでは、各広告に不整合埋め込みを施し、各ユーザーが広告関連埋め込みを施し、候補セットからの高品質広告のきめ細かい選択に寄与する。
どちらのステップも、事前に計算され、キャッシュされた中間結果のおかげで軽量化されている。
この2段階のワークフローでハイブリッドエンコーダの性能を最適化するため、プログレッシブトレーニングパイプラインが開発され、検索およびランキングタスクのステップバイステップにおけるモデル機能を構築する。
ハイブリッドエンコーダの有効性は実験的に検証され、追加コストが非常に少ないため、シアムエンコーダを著しく上回り、クロスエンコーダと同等の推奨品質を達成する。
関連論文リスト
- How to Make Cross Encoder a Good Teacher for Efficient Image-Text Retrieval? [99.87554379608224]
クロスエンコーダのクロスモーダル類似度スコア分布は、二重エンコーダの結果がほぼ正常である間により集中する。
強陰性間の相対的な順序だけが有効な知識を伝達する一方、容易な負性間の順序情報はほとんど意味を持たない。
本研究では, コントラスト学習を用いて, 硬質負試料間の相対的な順序を模倣することを目的とした, コントラスト部分式蒸留法を提案する。
論文 参考訳（メタデータ） (2024-07-10T09:10:01Z) - Retriever and Ranker Framework with Probabilistic Hard Negative Sampling
for Code Search [11.39443308694887]
本稿では,クエリとコードのセマンティックマッチングを共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。
また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Rankerフレームワークを導入し、評価とオンラインサービスの有効性を高める。
論文 参考訳（メタデータ） (2023-05-08T07:04:28Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳（メタデータ） (2022-10-23T00:32:04Z) - Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
TOSSは2段階のフュージョンコード検索フレームワークである。
まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。
その後、より微細なクロスエンコーダを使用してランク付けを行う。
論文 参考訳（メタデータ） (2022-08-24T02:34:27Z) - Collaborative Reflection-Augmented Autoencoder Network for Recommender
Systems [23.480069921831344]
協調反射強化オートエンコーダネットワーク(CRANet)を開発した。
CRANetは、観測された、観測されていないユーザーとイテムの相互作用から、転送可能な知識を探索することができる。
CRANetは2つの推奨タスクに対応する4つの多様なベンチマークデータセットに対して実験的に検証する。
論文 参考訳（メタデータ） (2022-01-10T04:36:15Z) - Uni-Encoder: A Fast and Accurate Response Selection Paradigm for
Generation-Based Dialogue Systems [17.041715422600504]
我々はUni-Encoderと呼ばれる新しい符号化パラダイムを開発した。
コンテクストを一度だけエンコードしながら、クロスエンコーダのように各ペアに完全に注意を払っている。
計算効率の高い4つのベンチマークデータセットに対して、最先端の新たな結果を得る。
論文 参考訳（メタデータ） (2021-06-02T16:14:51Z) - Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。
本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
論文 参考訳（メタデータ） (2021-02-18T08:08:17Z) - Query-aware Tip Generation for Vertical Search [42.83771233373902]
チップ生成に関する既存の作業は、検索シナリオにおけるチップの影響を制限するクエリを考慮に入れていない。
本稿では,クエリ情報をエンコーディングおよびその後の復号処理に統合する,クエリ対応のチップ生成フレームワークを提案する。
このフレームワークは、パブリックと実世界の両方の産業データセットで競合する手法を一貫して上回っている。
論文 参考訳（メタデータ） (2020-10-19T06:48:40Z) - Augmented SBERT: Data Augmentation Method for Improving Bi-Encoders for
Pairwise Sentence Scoring Tasks [59.13635174016506]
本稿では,Augmented SBERTと呼ばれる単純なデータ拡張戦略を提案する。
クロスエンコーダを用いて、より大きな入力ペアのセットをラベル付けし、バイエンコーダのトレーニングデータを増強する。
このプロセスでは,文ペアの選択は非自明であり,提案手法の成功には不可欠であることを示す。
論文 参考訳（メタデータ） (2020-10-16T08:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。