論文の概要: Binary Code based Hash Embedding for Web-scale Applications

• arxiv url: http://arxiv.org/abs/2109.02471v1
• Date: Tue, 24 Aug 2021 11:51:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-12 10:54:22.526499
• Title: Binary Code based Hash Embedding for Web-scale Applications
• Title（参考訳）: Webスケールアプリケーションのためのバイナリコードベースのハッシュ埋め込み
• Authors: Bencheng Yan, Pengjie Wang, Jinquan Liu, Wei Lin, Kuang-Chih Lee, Jian Xu and Bo Zheng
• Abstract要約: ディープラーニングモデルは、レコメンダシステムやオンライン広告など、Webスケールのアプリケーションで広く採用されている。 これらのアプリケーションでは、分類的特徴の組込み学習がディープラーニングモデルの成功に不可欠である。 本稿では,バイナリコードに基づくハッシュ埋め込み方式を提案する。
• 参考スコア（独自算出の注目度）: 12.851057275052506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, deep learning models are widely adopted in web-scale applications such as recommender systems, and online advertising. In these applications, embedding learning of categorical features is crucial to the success of deep learning models. In these models, a standard method is that each categorical feature value is assigned a unique embedding vector which can be learned and optimized. Although this method can well capture the characteristics of the categorical features and promise good performance, it can incur a huge memory cost to store the embedding table, especially for those web-scale applications. Such a huge memory cost significantly holds back the effectiveness and usability of EDRMs. In this paper, we propose a binary code based hash embedding method which allows the size of the embedding table to be reduced in arbitrary scale without compromising too much performance. Experimental evaluation results show that one can still achieve 99\% performance even if the embedding table size is reduced 1000$\times$ smaller than the original one with our proposed method.
• Abstract（参考訳）: 現在、ディープラーニングモデルはレコメンダシステムやオンライン広告といったウェブスケールのアプリケーションに広く採用されている。 これらのアプリケーションでは、分類的特徴の埋め込み学習がディープラーニングモデルの成功に不可欠である。 これらのモデルでは、各カテゴリの特徴値に学習や最適化が可能なユニークな埋め込みベクトルが割り当てられている。 この方法はカテゴリの特徴をうまく捉え、優れた性能を約束するが、特にウェブスケールのアプリケーションの場合、埋め込みテーブルを保存するのに膨大なメモリコストがかかる。 このような大きなメモリコストは、edrmの有効性とユーザビリティを著しく阻害する。 本稿では,性能を損なうことなく,埋め込みテーブルのサイズを任意のスケールで縮小できるバイナリコードベースのハッシュ埋め込み手法を提案する。 実験評価の結果,本手法では組込みテーブルサイズが従来のテーブルサイズよりも1000$\times$小さい場合でも,99\%の性能を達成できることがわかった。

関連論文リスト

• Scalable Dynamic Embedding Size Search for Streaming Recommendation [54.28404337601801]
  実世界のレコメンデーションシステムは、しばしばストリーミングレコメンデーションシナリオで機能する。 ユーザやアイテムの数は増加を続けており、かなりのストレージリソース消費につながっている。 SCALLと呼ばれるストリーミングレコメンデーション用のLightweight Embeddingsを学び、ユーザ/イテムの埋め込みサイズを適応的に調整できる。
  論文  参考訳（メタデータ） (2024-07-22T06:37:24Z)
• Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems [17.602059421895856]
  FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。 FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。 公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
  論文  参考訳（メタデータ） (2024-01-09T08:04:11Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Learning to Collide: Recommendation System Model Compression with Learned Hash Functions [4.6994057182972595]
  ディープレコメンデーションモデルのキーとなる特徴は、埋め込みテーブルの膨大なメモリ要求である。 モデルサイズを減らすための一般的なテクニックは、すべてのカテゴリ変数識別子(ID)を小さな空間にハッシュすることである。 このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。 我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。
  論文  参考訳（メタデータ） (2022-03-28T06:07:30Z)
• Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer [15.403616481651383]
  本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。 マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
  論文  参考訳（メタデータ） (2021-08-24T11:50:49Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)
• Learnable Embedding Sizes for Recommender Systems [34.98757041815557]
  提案するpep(プラグイン埋め込みプルーニングの略)は,推奨精度の低下を回避しつつ埋め込みテーブルのサイズを削減する。 PEPは97-99%のパラメータを削減しながら、強いレコメンデーションパフォーマンスを達成する。 PEPは基本モデルと比較して20～30%のコストしかかからない。
  論文  参考訳（メタデータ） (2021-01-19T11:50:33Z)
• MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down Distillation [153.56211546576978]
  本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。 このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。 実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
  論文  参考訳（メタデータ） (2020-08-27T13:04:27Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。