論文の概要: Clustering Embedding Tables, Without First Learning Them

• arxiv url: http://arxiv.org/abs/2210.05974v1
• Date: Wed, 12 Oct 2022 07:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:59:21.373995
• Title: Clustering Embedding Tables, Without First Learning Them
• Title（参考訳）: 初等学習を伴わないテーブルのクラスタリング
• Authors: Henry Ling-Hei Tsang, Thomas Dybdahl Ahle
• Abstract要約: テーブル圧縮の最も成功した方法は、生成ベクトル量子化と残留ベクトル量子化(Gray & Neuhoff, 1998)である。 近年の研究では、トレーニング中のメモリ使用量を最小化するためにハッシュベースのアプローチが採用されているが、得られた圧縮は、"ポストトレーニング"量子化によって得られるものよりも劣っている。 両世界のベストは,ハッシュとクラスタリングに基づく手法を組み合わせることで得られる可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: To work with categorical features, machine learning systems employ embedding tables. These tables can become exceedingly large in modern recommendation systems, necessitating the development of new methods for fitting them in memory, even during training. Some of the most successful methods for table compression are Product- and Residual Vector Quantization (Gray & Neuhoff, 1998). These methods replace table rows with references to k-means clustered "codewords." Unfortunately, this means they must first know the table before compressing it, so they can only save memory during inference, not training. Recent work has used hashing-based approaches to minimize memory usage during training, but the compression obtained is inferior to that obtained by "post-training" quantization. We show that the best of both worlds may be obtained by combining techniques based on hashing and clustering. By first training a hashing-based "sketch", then clustering it, and then training the clustered quantization, our method achieves compression ratios close to those of post-training quantization with the training time memory reductions of hashing-based methods. We show experimentally that our method provides better compression and/or accuracy that previous methods, and we prove that our method always converges to the optimal embedding table for least-squares training.
• Abstract（参考訳）: 分類的特徴を扱うために、機械学習システムは埋め込みテーブルを使用する。 これらの表は、現代のレコメンデーションシステムにおいて非常に大きくなり、トレーニング中にも記憶に適合する新しい方法の開発が必要となる。 テーブル圧縮の最も成功した手法は積量子化と残留ベクトル量子化である(gray & neuhoff, 1998)。 これらのメソッドはテーブル行をk-meansクラスタ化された"codewords"への参照に置き換える。 残念ながら、これは、テーブルを圧縮する前に最初に知る必要があることを意味するので、トレーニングではなく推論中にメモリを保存するだけである。 最近の研究では、トレーニング中のメモリ使用量を最小化するためにハッシュベースのアプローチが使用されているが、得られた圧縮は「後トレーニング」量子化によって得られるものよりも劣っている。 ハッシュとクラスタリングに基づく手法を組み合わせることで,両世界のベストが得られ得ることを示す。 まず、ハッシュベースの「スケッチ」を訓練し、クラスタ化し、クラスタ化量子化を訓練することにより、ハッシュベースの手法のトレーニング時間メモリ削減による後処理量子化に近い圧縮比を達成する。 提案手法は,従来の手法よりも圧縮精度や精度が向上し,最小二乗訓練において常に最適な埋め込みテーブルに収束することを示す。

関連論文リスト

• End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
  我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。 振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。 1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-01-11T15:22:55Z)
• Network Memory Footprint Compression Through Jointly Learnable Codebooks and Mappings [23.1120983784623]
  量子化は、高精度テンソルを低精度でメモリ効率の良いフォーマットにマッピングするため、好ましい解である。 メモリフットプリントの削減に関して、最も効果的なバリエーションはコードブックに基づいている。 本稿では,近年の勾配に基づくポストトレーニング量子化手法と類似性を有するコードブックとウェイトマッピングの合同学習を提案する。
  論文  参考訳（メタデータ） (2023-09-29T16:04:55Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
  この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。 これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-04-24T19:16:03Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective [11.01582936909208]
  非対称数値システム(ANS)は最適な圧縮に非常に近づき、ビットバック符号のような高度な圧縮技術を単純化する。 本論文は、潜伏変数モデルの新しい視点から、ANSをより親しみやすくするための教育資源として意図されている。 我々は,Python プログラミング言語における ANS の完全な実装に向けて,読者を段階的にガイドする。
  論文  参考訳（メタデータ） (2022-01-05T18:04:42Z)
• Learning on a Grassmann Manifold: CSI Quantization for Massive MIMO Systems [37.499485219254545]
  本稿では,基礎となるチャネル分布に対する平均正規化ビームフォーミングゲインを最大化するビームフォーミングコードブックの設計に焦点をあてる。 我々は,機械学習の基礎となるモデルフリーなデータ駆動型手法を用いて,周囲の伝搬条件に適応するビームフォーミングコードブックを生成する。
  論文  参考訳（メタデータ） (2020-05-18T01:01:36Z)
• A flexible, extensible software framework for model compression based on the LC algorithm [10.787390511207683]
  ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。 ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
  論文  参考訳（メタデータ） (2020-05-15T21:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。