論文の概要: Binary Code based Hash Embedding for Web-scale Applications
- arxiv url: http://arxiv.org/abs/2109.02471v1
- Date: Tue, 24 Aug 2021 11:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-12 10:54:22.526499
- Title: Binary Code based Hash Embedding for Web-scale Applications
- Title(参考訳): Webスケールアプリケーションのためのバイナリコードベースのハッシュ埋め込み
- Authors: Bencheng Yan, Pengjie Wang, Jinquan Liu, Wei Lin, Kuang-Chih Lee, Jian
Xu and Bo Zheng
- Abstract要約: ディープラーニングモデルは、レコメンダシステムやオンライン広告など、Webスケールのアプリケーションで広く採用されている。
これらのアプリケーションでは、分類的特徴の組込み学習がディープラーニングモデルの成功に不可欠である。
本稿では,バイナリコードに基づくハッシュ埋め込み方式を提案する。
- 参考スコア(独自算出の注目度): 12.851057275052506
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, deep learning models are widely adopted in web-scale applications
such as recommender systems, and online advertising. In these applications,
embedding learning of categorical features is crucial to the success of deep
learning models. In these models, a standard method is that each categorical
feature value is assigned a unique embedding vector which can be learned and
optimized. Although this method can well capture the characteristics of the
categorical features and promise good performance, it can incur a huge memory
cost to store the embedding table, especially for those web-scale applications.
Such a huge memory cost significantly holds back the effectiveness and
usability of EDRMs. In this paper, we propose a binary code based hash
embedding method which allows the size of the embedding table to be reduced in
arbitrary scale without compromising too much performance. Experimental
evaluation results show that one can still achieve 99\% performance even if the
embedding table size is reduced 1000$\times$ smaller than the original one with
our proposed method.
- Abstract(参考訳): 現在、ディープラーニングモデルはレコメンダシステムやオンライン広告といったウェブスケールのアプリケーションに広く採用されている。
これらのアプリケーションでは、分類的特徴の埋め込み学習がディープラーニングモデルの成功に不可欠である。
これらのモデルでは、各カテゴリの特徴値に学習や最適化が可能なユニークな埋め込みベクトルが割り当てられている。
この方法はカテゴリの特徴をうまく捉え、優れた性能を約束するが、特にウェブスケールのアプリケーションの場合、埋め込みテーブルを保存するのに膨大なメモリコストがかかる。
このような大きなメモリコストは、edrmの有効性とユーザビリティを著しく阻害する。
本稿では,性能を損なうことなく,埋め込みテーブルのサイズを任意のスケールで縮小できるバイナリコードベースのハッシュ埋め込み手法を提案する。
実験評価の結果,本手法では組込みテーブルサイズが従来のテーブルサイズよりも1000$\times$小さい場合でも,99\%の性能を達成できることがわかった。
関連論文リスト
- Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Learning to Collide: Recommendation System Model Compression with
Learned Hash Functions [4.6994057182972595]
ディープレコメンデーションモデルのキーとなる特徴は、埋め込みテーブルの膨大なメモリ要求である。
モデルサイズを減らすための一般的なテクニックは、すべてのカテゴリ変数識別子(ID)を小さな空間にハッシュすることである。
このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。
我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。
論文 参考訳(メタデータ) (2022-03-28T06:07:30Z) - Learning Effective and Efficient Embedding via an Adaptively-Masked
Twins-based Layer [15.403616481651383]
本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ
AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。
マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
論文 参考訳(メタデータ) (2021-08-24T11:50:49Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - Robust Generalization and Safe Query-Specialization in Counterfactual
Learning to Rank [62.28965622396868]
本稿では,特徴量に基づく対実的学習手法であるgenSPECアルゴリズムについて紹介する。
以上の結果から,GENSPECは十分なクリックデータを持つクエリに対して,ほとんどあるいはノイズのないクエリに対してロバストな振る舞いを持ちながら,最適なパフォーマンスを実現することが示唆された。
論文 参考訳(メタデータ) (2021-02-11T13:17:26Z) - Learnable Embedding Sizes for Recommender Systems [34.98757041815557]
提案するpep(プラグイン埋め込みプルーニングの略)は,推奨精度の低下を回避しつつ埋め込みテーブルのサイズを削減する。
PEPは97-99%のパラメータを削減しながら、強いレコメンデーションパフォーマンスを達成する。
PEPは基本モデルと比較して20~30%のコストしかかからない。
論文 参考訳(メタデータ) (2021-01-19T11:50:33Z) - Learning to Embed Categorical Features without Embedding Tables for
Recommendation [22.561967284428707]
本稿では,組込みテーブルを深層埋め込みネットワークに置き換え,組込みを高速に計算する別の組込みフレームワークを提案する。
エンコーディングモジュールは決定論的であり、学習不能であり、ストレージが不要である一方、埋め込みネットワークはトレーニング時間中に更新され、埋め込み生成が学習される。
論文 参考訳(メタデータ) (2020-10-21T06:37:28Z) - Probabilistic Case-based Reasoning for Open-World Knowledge Graph
Completion [59.549664231655726]
ケースベース推論(CBR)システムは,与えられた問題に類似した事例を検索することで,新たな問題を解決する。
本稿では,知識ベース(KB)の推論において,そのようなシステムが実現可能であることを示す。
提案手法は,KB内の類似エンティティからの推論パスを収集することにより,エンティティの属性を予測する。
論文 参考訳(メタデータ) (2020-10-07T17:48:12Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳(メタデータ) (2020-08-27T13:04:27Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。