論文の概要: Binary Embedding-based Retrieval at Tencent

• arxiv url: http://arxiv.org/abs/2302.08714v1
• Date: Fri, 17 Feb 2023 06:10:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 15:39:20.233556
• Title: Binary Embedding-based Retrieval at Tencent
• Title（参考訳）: Tencentにおけるバイナリ埋め込みベースの検索
• Authors: Yukang Gan, Yixiao Ge, Chang Zhou, Shupeng Su, Zhouchuan Xu, Xuyuan Xu, Quanchao Hui, Xiang Chen, Yexin Wang, Ying Shan
• Abstract要約: 大規模埋め込み型検索 (EBR) は, 検索関連産業アプリケーションの基礎となっている。 本稿では,2進二進化アルゴリズムを組み込んだ2進埋め込み型検索エンジンを提案する。 私たちは、導入したBEBRをSogou、Tencent Video、QQ Worldなど、Tencent製品にうまく採用しました。
• 参考スコア（独自算出の注目度）: 30.44247353560061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale embedding-based retrieval (EBR) is the cornerstone of search-related industrial applications. Given a user query, the system of EBR aims to identify relevant information from a large corpus of documents that may be tens or hundreds of billions in size. The storage and computation turn out to be expensive and inefficient with massive documents and high concurrent queries, making it difficult to further scale up. To tackle the challenge, we propose a binary embedding-based retrieval (BEBR) engine equipped with a recurrent binarization algorithm that enables customized bits per dimension. Specifically, we compress the full-precision query and document embeddings, formulated as float vectors in general, into a composition of multiple binary vectors using a lightweight transformation model with residual multilayer perception (MLP) blocks. We can therefore tailor the number of bits for different applications to trade off accuracy loss and cost savings. Importantly, we enable task-agnostic efficient training of the binarization model using a new embedding-to-embedding strategy. We also exploit the compatible training of binary embeddings so that the BEBR engine can support indexing among multiple embedding versions within a unified system. To further realize efficient search, we propose Symmetric Distance Calculation (SDC) to achieve lower response time than Hamming codes. We successfully employed the introduced BEBR to Tencent products, including Sogou, Tencent Video, QQ World, etc. The binarization algorithm can be seamlessly generalized to various tasks with multiple modalities. Extensive experiments on offline benchmarks and online A/B tests demonstrate the efficiency and effectiveness of our method, significantly saving 30%~50% index costs with almost no loss of accuracy at the system level.
• Abstract（参考訳）: 大規模埋め込み型検索(EBR)は、検索関連産業アプリケーションの基礎となる。 ユーザからの問い合わせを前提として、EBRのシステムは、数十億から数百億のサイズのドキュメントの巨大なコーパスから関連する情報を識別することを目的としている。 ストレージと計算は、巨大なドキュメントと高並列クエリで高価で非効率であることが判明し、さらなるスケールアップが困難になった。 この課題に対処するために,2値埋め込み型検索 (BEBR) エンジンに,次元毎にカスタマイズ可能な2値バイナライゼーションアルゴリズムを提案する。 具体的には,全精度問合せと文書埋め込みを浮動小数点ベクトルとして一般に定式化し,残差多層知覚(mlp)ブロックを用いた軽量変換モデルを用いて,複数のバイナリベクトルの合成に圧縮する。 したがって、異なるアプリケーションのためにビット数を調整でき、精度の損失とコストの削減をトレードオフできる。 重要なことは、新しい埋め込み・埋め込み戦略を用いて、タスク非依存のバイナライゼーションモデルの効率的なトレーニングを可能にすることである。 また、バイナリ埋め込みの互換性のあるトレーニングを活用し、BEBRエンジンが統合システム内の複数の埋め込みバージョン間のインデックス化をサポートできるようにします。 より効率的な探索を実現するために,ハミング符号よりも応答時間の少ないSDC(Symmetric Distance calculated)を提案する。 私たちは、導入したBEBRをSogou、Tencent Video、QQ Worldなど、Tencent製品にうまく採用しました。 バイナライゼーションアルゴリズムは、複数のモードを持つ様々なタスクにシームレスに一般化することができる。 オフラインベンチマークとオンラインA/Bテストによる大規模な実験は,本手法の有効性と有効性を示し,システムレベルでの精度の低下を伴わず,30%～50%のインデックスコストを著しく削減した。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Mixed-Precision Embeddings for Large-Scale Recommendation Models [19.93156309493436]
  混合精密埋め込み(Mixed-Precision Embeddings、MPE)は、新しい埋め込み圧縮法である。 MPEは予測精度を含まないまま、Criteoデータセット上で約200倍の圧縮を実現している。
  論文  参考訳（メタデータ） (2024-09-30T14:04:27Z)
• CEBin: A Cost-Effective Framework for Large-Scale Binary Code Similarity Detection [23.8834126695488]
  バイナリコード類似度検出(BCSD)は様々なアプリケーションの基本技術である。 本稿では,組込み型および比較型アプローチを融合した,費用対効果の高いBCSDフレームワークCEBinを提案する。
  論文  参考訳（メタデータ） (2024-02-29T03:02:07Z)
• Neural Network Compression using Binarization and Few Full-Precision Weights [7.206962876422061]
  自動Prune Binarization (APB) は量子化とプルーニングを組み合わせた新しい圧縮技術である。 APBは、数個の完全精度重みを使ってバイナリネットワークの表現能力を向上する。 APBは最先端の方法よりも精度とメモリのトレードオフが優れている。
  論文  参考訳（メタデータ） (2023-06-15T08:52:00Z)
• Query Encoder Distillation via Embedding Alignment is a Strong Baseline Method to Boost Dense Retriever Online Efficiency [4.254906060165999]
  2層のBERTベースのクエリエンコーダであっても、BEIRベンチマークでは完全なDEパフォーマンスの92.5%を維持可能であることを示す。 私たちの発見が、メソッドの複雑さとパフォーマンスの改善の間のトレードオフを再評価することを、コミュニティに促すことを願っています。
  論文  参考訳（メタデータ） (2023-06-05T06:53:55Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• BiBench: Benchmarking and Analyzing Network Binarization [72.59760752906757]
  ネットワークバイナライゼーションは、異常な計算とメモリ節約を提供する最も有望な圧縮手法の1つとして出現する。 精度劣化や効率制限といった双項化の一般的な課題は、その属性が完全には理解されていないことを示唆している。 ネットワークバイナライゼーションのための深度解析を用いた厳密に設計されたベンチマークであるBiBenchを提案する。
  論文  参考訳（メタデータ） (2023-01-26T17:17:16Z)
• Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix Factorization [60.91600465922932]
  本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。 我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
  論文  参考訳（メタデータ） (2022-10-23T00:32:04Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving [94.40107679615618]
  本稿では,二項化駆動型領域検出ネットワーク(バイナリDAD-Net)を提案する。 エンコーダ、ボトルネック、デコーダ部分の2重みとアクティベーションのみを使用する。 パブリックデータセット上で、最先端のセマンティックセグメンテーションネットワークより優れています。
  論文  参考訳（メタデータ） (2020-06-15T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。