論文の概要: Learning to Collide: Recommendation System Model Compression with Learned Hash Functions

• arxiv url: http://arxiv.org/abs/2203.15837v1
• Date: Mon, 28 Mar 2022 06:07:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 16:14:11.747341
• Title: Learning to Collide: Recommendation System Model Compression with Learned Hash Functions
• Title（参考訳）: 衝突の学習:学習ハッシュ関数を用いた推薦システムモデル圧縮
• Authors: Benjamin Ghaemmaghami, Mustafa Ozdal, Rakesh Komuravelli, Dmitriy Korchev, Dheevatsa Mudigere, Krishnakumar Nair, Maxim Naumov
• Abstract要約: ディープレコメンデーションモデルのキーとなる特徴は、埋め込みテーブルの膨大なメモリ要求である。 モデルサイズを減らすための一般的なテクニックは、すべてのカテゴリ変数識別子(ID)を小さな空間にハッシュすることである。 このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。 我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。
• 参考スコア（独自算出の注目度）: 4.6994057182972595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key characteristic of deep recommendation models is the immense memory requirements of their embedding tables. These embedding tables can often reach hundreds of gigabytes which increases hardware requirements and training cost. A common technique to reduce model size is to hash all of the categorical variable identifiers (ids) into a smaller space. This hashing reduces the number of unique representations that must be stored in the embedding table; thus decreasing its size. However, this approach introduces collisions between semantically dissimilar ids that degrade model quality. We introduce an alternative approach, Learned Hash Functions, which instead learns a new mapping function that encourages collisions between semantically similar ids. We derive this learned mapping from historical data and embedding access patterns. We experiment with this technique on a production model and find that a mapping informed by the combination of access frequency and a learned low dimension embedding is the most effective. We demonstrate a small improvement relative to the hashing trick and other collision related compression techniques. This is ongoing work that explores the impact of categorical id collisions on recommendation model quality and how those collisions may be controlled to improve model performance.
• Abstract（参考訳）: 深いレコメンデーションモデルの重要な特徴は、埋め込みテーブルの膨大なメモリ要求である。 これらの埋め込みテーブルは、しばしば数百ギガバイトに達するため、ハードウェア要件とトレーニングコストが増加する。 モデルサイズを減らす一般的なテクニックは、すべてのカテゴリ変数識別子(ids)を小さな空間にハッシュすることです。 このハッシュにより、埋め込みテーブルに格納しなければならないユニークな表現の数が減少し、サイズが減少する。 しかし、このアプローチは、モデル品質を低下させる意味的に異なるid間の衝突をもたらす。 我々は代わりに、意味的に類似したID間の衝突を促進する新しいマッピング関数であるLearned Hash Functionsを導入する。 この学習したマッピングを履歴データから導き、アクセスパターンを埋め込む。 我々は,本手法を生産モデル上で実験し,アクセス頻度と学習した低次元埋め込みの組合せによるマッピングが最も効果的であることを示す。 我々は,ハッシングトリックや他の衝突関連圧縮技術と比較して,小さな改善を示す。 これは、カテゴリID衝突が推奨モデルの品質に与える影響と、モデル性能を改善するためにそれらの衝突を制御する方法について検討している。

関連論文リスト

• GraphHash: Graph Clustering Enables Parameter Efficiency in Recommender Systems [51.64666652517944]
  本稿では,モジュール性に基づく二部グラフクラスタリングを利用したグラフベースの最初のアプローチであるGraphHashを紹介する。 高速クラスタリングアルゴリズムを使用することで、GraphHashはプリプロセス中のメッセージパッシングの計算効率のよいプロキシとして機能する。 実験では、GraphHashは検索およびクリックスルーレート予測タスクの両方において、多様なハッシュベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2024-12-23T03:37:58Z)
• A Flexible Plug-and-Play Module for Generating Variable-Length [61.095479786194836]
  Nested Hash Layer (NHL) は、既存の深い教師付きハッシュモデル用に設計されたプラグイン・アンド・プレイモジュールである。 NHLは、異なる長さのハッシュコードをネストした方法で同時に生成する。 NHLは、様々な深層ハッシュモデルに対して優れた検索性能を達成する。
  論文  参考訳（メタデータ） (2024-12-12T04:13:09Z)
• FastFill: Efficient Compatible Model Update [40.27741553705222]
  FastFillは、機能アライメントとポリシーベースの部分的なバックフィルを使用して、互換性のあるモデル更新プロセスである。 過去のバックフィル戦略は性能低下に悩まされており,オンライン部分補充におけるトレーニング目標と注文の重要性が示されている。
  論文  参考訳（メタデータ） (2023-03-08T18:03:51Z)
• Prototype-Based Layered Federated Cross-Modal Hashing [14.844848099134648]
  本稿では,プロトタイプをベースとした層状層状クロスモーダルハッシュ法を提案する。 具体的には、サーバ上のインスタンスとクラス間の類似性を学ぶためにプロトタイプが導入された。 パーソナライズされたフェデレーション学習を実現するために、ハイパーネットワークがサーバ上に展開され、異なるレイヤのローカルモデルの重みを動的に更新する。
  論文  参考訳（メタデータ） (2022-10-27T15:11:12Z)
• Efficient model compression with Random Operation Access Specific Tile (ROAST) hashing [35.67591281350068]
  本稿では,Random Operation Access Specific Tile(ROAST)ハッシュ法を提案する。 ROASTでは、最初の圧縮BERTを提示します。 トランスフォーマーのようなユニバーサルアーキテクチャ上のこれらの圧縮レベルは、モバイルやエッジデバイスのようなリソース制約のあるデバイスへのSOTAモデル展開の将来を約束している。
  論文  参考訳（メタデータ） (2022-07-21T18:31:17Z)
• PRANC: Pseudo RAndom Networks for Compacting deep models [22.793523211040682]
  PRANCはディープモデルの大幅なコンパクト化を可能にする。 本研究では,PRANCを用いて画像分類モデルを構築し,関連する暗黙的ニューラルネットワークをコンパクト化することで画像の圧縮を行う。
  論文  参考訳（メタデータ） (2022-06-16T22:03:35Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• One Loss for All: Deep Hashing with a Single Cosine Similarity based Learning Objective [86.48094395282546]
  ディープハッシュモデルは通常、学習されたバイナリハッシュコードの識別と量子化エラーの最小化という2つの学習目標を持つ。 本稿では,1つの学習目的しか持たない新しい深層ハッシュモデルを提案する。 我々のモデルは,3つの大規模インスタンス検索ベンチマークにおいて,最先端のマルチロスハッシュモデルより優れている。
  論文  参考訳（メタデータ） (2021-09-29T14:27:51Z)
• CIMON: Towards High-quality Hash Codes [63.37321228830102]
  我々はtextbfComprehensive stextbfImilarity textbfMining と ctextbfOnsistency leartextbfNing (CIMON) という新しい手法を提案する。 まず、グローバルな洗練と類似度統計分布を用いて、信頼性とスムーズなガイダンスを得る。第二に、意味的整合性学習とコントラスト的整合性学習の両方を導入して、乱不変と差別的ハッシュコードの両方を導出する。
  論文  参考訳（メタデータ） (2020-10-15T14:47:14Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。