論文の概要: Learning to Collide: Recommendation System Model Compression with
Learned Hash Functions
- arxiv url: http://arxiv.org/abs/2203.15837v1
- Date: Mon, 28 Mar 2022 06:07:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-02 16:14:11.747341
- Title: Learning to Collide: Recommendation System Model Compression with
Learned Hash Functions
- Title（参考訳）: 衝突の学習:学習ハッシュ関数を用いた推薦システムモデル圧縮
- Authors: Benjamin Ghaemmaghami, Mustafa Ozdal, Rakesh Komuravelli, Dmitriy
Korchev, Dheevatsa Mudigere, Krishnakumar Nair, Maxim Naumov
- Abstract要約: ディープレコメンデーションモデルのキーとなる特徴は、埋め込みテーブルの膨大なメモリ要求である。
モデルサイズを減らすための一般的なテクニックは、すべてのカテゴリ変数識別子(ID)を小さな空間にハッシュすることである。
このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。
我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。
- 参考スコア（独自算出の注目度）: 4.6994057182972595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A key characteristic of deep recommendation models is the immense memory
requirements of their embedding tables. These embedding tables can often reach
hundreds of gigabytes which increases hardware requirements and training cost.
A common technique to reduce model size is to hash all of the categorical
variable identifiers (ids) into a smaller space. This hashing reduces the
number of unique representations that must be stored in the embedding table;
thus decreasing its size. However, this approach introduces collisions between
semantically dissimilar ids that degrade model quality. We introduce an
alternative approach, Learned Hash Functions, which instead learns a new
mapping function that encourages collisions between semantically similar ids.
We derive this learned mapping from historical data and embedding access
patterns. We experiment with this technique on a production model and find that
a mapping informed by the combination of access frequency and a learned low
dimension embedding is the most effective. We demonstrate a small improvement
relative to the hashing trick and other collision related compression
techniques. This is ongoing work that explores the impact of categorical id
collisions on recommendation model quality and how those collisions may be
controlled to improve model performance.
- Abstract（参考訳）: 深いレコメンデーションモデルの重要な特徴は、埋め込みテーブルの膨大なメモリ要求である。
これらの埋め込みテーブルは、しばしば数百ギガバイトに達するため、ハードウェア要件とトレーニングコストが増加する。
モデルサイズを減らす一般的なテクニックは、すべてのカテゴリ変数識別子(ids)を小さな空間にハッシュすることです。
このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。
しかし、このアプローチは、モデル品質を低下させる意味的に異なるid間の衝突をもたらす。
我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。
この学習したマッピングを履歴データから導き、アクセスパターンを埋め込む。
我々は,本手法を生産モデル上で実験し,アクセス頻度と学習した低次元埋め込みの組合せによるマッピングが最も効果的であることを示す。
我々は,ハッシングトリックや他の衝突関連圧縮技術と比較して,小さな改善を示す。
これは、カテゴリID衝突が推奨モデルの品質に与える影響と、モデル性能を改善するためにそれらの衝突を制御する方法について検討している。
関連論文リスト
- FastFill: Efficient Compatible Model Update [40.27741553705222]
FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。
過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
論文 参考訳（メタデータ） (2023-03-08T18:03:51Z) - Prototype-Based Layered Federated Cross-Modal Hashing [14.844848099134648]
本稿では,プロトタイプをベースとした層状層状クロスモーダルハッシュ法を提案する。
具体的には、サーバ上のインスタンスとクラス間の類似性を学ぶためにプロトタイプが導入された。
パーソナライズされたフェデレーション学習を実現するために、ハイパーネットワークがサーバ上に展開され、異なるレイヤのローカルモデルの重みを動的に更新する。
論文 参考訳（メタデータ） (2022-10-27T15:11:12Z) - Efficient model compression with Random Operation Access Specific Tile
(ROAST) hashing [35.67591281350068]
本稿では,Random Operation Access Specific Tile(ROAST)ハッシュ法を提案する。
ROASTでは、最初の圧縮BERTを提示します。
トランスフォーマーのようなユニバーサルアーキテクチャ上のこれらの圧縮レベルは、モバイルやエッジデバイスのようなリソース制約のあるデバイスへのSOTAモデル展開の将来を約束している。
論文 参考訳（メタデータ） (2022-07-21T18:31:17Z) - PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
PRANCはディープモデルの大幅なコンパクト化を可能にする。
本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
論文 参考訳（メタデータ） (2022-06-16T22:03:35Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - One Loss for All: Deep Hashing with a Single Cosine Similarity based
Learning Objective [86.48094395282546]
ディープハッシュモデルは通常、学習されたバイナリハッシュコードの識別と量子化エラーの最小化という2つの学習目標を持つ。
本稿では,1つの学習目的しか持たない新しい深層ハッシュモデルを提案する。
我々のモデルは,3つの大規模インスタンス検索ベンチマークにおいて,最先端のマルチロスハッシュモデルより優れている。
論文 参考訳（メタデータ） (2021-09-29T14:27:51Z) - Deep Self-Adaptive Hashing for Image Retrieval [16.768754022585057]
2つの特殊設計で意味情報を適応的にキャプチャするtextbfDeep Self-Adaptive Hashing(DSAH)モデルを提案する。
まず,近辺型類似度行列を構築し,その初期類似度行列を新しい更新戦略で改良する。
第2に、PICを用いたデータペアの優先度を測定し、それらに適応重みを割り当てる。これは、より異種なデータペアがハッシュ学習のためのより差別的な情報を含んでいるという仮定に依存する。
論文 参考訳（メタデータ） (2021-08-16T13:53:20Z) - Compatibility-aware Heterogeneous Visual Search [93.90831195353333]
既存のシステムは、同じ埋め込みモデルを使用して、クエリとギャラリーイメージの表現(埋め込み)を計算します。
1つは埋め込みを計算する各モデルのパラメータを変更し、もう1つは埋め込みを計算するアーキテクチャを変更して実行します。
最大埋め込みモデル(パラゴン)を用いた通常の(均一な)ビジュアルサーチと比較して,CMP-NASは80倍,23倍のコスト削減を実現している。
論文 参考訳（メタデータ） (2021-05-13T02:30:50Z) - CIMON: Towards High-quality Hash Codes [63.37321228830102]
我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。
まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
論文 参考訳（メタデータ） (2020-10-15T14:47:14Z) - DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。
本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。
実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
論文 参考訳（メタデータ） (2020-10-02T13:59:05Z) - Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。
本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。
ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
論文 参考訳（メタデータ） (2020-06-16T01:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。