論文の概要: Clustering the Sketch: A Novel Approach to Embedding Table Compression

• arxiv url: http://arxiv.org/abs/2210.05974v3
• Date: Sun, 22 Oct 2023 02:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 14:48:07.580049
• Title: Clustering the Sketch: A Novel Approach to Embedding Table Compression
• Title（参考訳）: スケッチのクラスタ化: テーブル圧縮を埋め込む新しいアプローチ
• Authors: Henry Ling-Hei Tsang, Thomas Dybdahl Ahle
• Abstract要約: Clustered Compositional Embeddings (CCE)は、量子化のようなクラスタリングベースの圧縮と、コードブックと、The Hashing Trickのような動的メソッドを組み合わせる。 CCEは両方の世界の長所を達成している: コードブックベースの量子化の圧縮率が高いが、*動的に*ハッシュベースのメソッドのように、トレーニング中に使用することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Embedding tables are used by machine learning systems to work with categorical features. In modern Recommendation Systems, these tables can be very large, necessitating the development of new methods for fitting them in memory, even during training. We suggest Clustered Compositional Embeddings (CCE) which combines clustering-based compression like quantization to codebooks with dynamic methods like The Hashing Trick and Compositional Embeddings (Shi et al., 2020). Experimentally CCE achieves the best of both worlds: The high compression rate of codebook-based quantization, but *dynamically* like hashing-based methods, so it can be used during training. Theoretically, we prove that CCE is guaranteed to converge to the optimal codebook and give a tight bound for the number of iterations required.
• Abstract（参考訳）: 埋め込みテーブルは、機械学習システムによってカテゴリ機能を扱うために使用される。 現代のレコメンデーションシステムでは、これらのテーブルは非常に大きく、トレーニング中にもメモリに適合する新しい方法の開発が必要となる。 本稿では,コードブックへの量子化のようなクラスタリングベースの圧縮と,The Hashing Trick や Composal Embeddings (Shi et al., 2020)のような動的メソッドを組み合わせたクラスタ構成埋め込み(CCE)を提案する。 cceは、コードブックベースの量子化の圧縮率が高いが、ハッシュベースのメソッドのように*動的に*高いので、トレーニング中に使用できる。 理論的には、CCEは最適なコードブックに収束し、必要なイテレーション数に厳密な制限を与えることが保証されている。

関連論文リスト

• End-to-end Learnable Clustering for Intent Learning in Recommendation [54.157784572994316]
  我々は、アンダーラインELCRecと呼ばれる新しい意図学習手法を提案する。 振る舞い表現学習をUnderlineEnd-to-end UnderlineLearnable UnderlineClusteringフレームワークに統合する。 1億3000万ページビューの産業レコメンデーションシステムに本手法をデプロイし,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-01-11T15:22:55Z)
• Network Memory Footprint Compression Through Jointly Learnable Codebooks and Mappings [23.1120983784623]
  量子化は、高精度テンソルを低精度でメモリ効率の良いフォーマットにマッピングするため、好ましい解である。 メモリフットプリントの削減に関して、最も効果的なバリエーションはコードブックに基づいている。 本稿では,近年の勾配に基づくポストトレーニング量子化手法と類似性を有するコードブックとウェイトマッピングの合同学習を提案する。
  論文  参考訳（メタデータ） (2023-09-29T16:04:55Z)
• Online Clustered Codebook [100.1650001618827]
  オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。 弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。 私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
  論文  参考訳（メタデータ） (2023-07-27T18:31:04Z)
• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• HDCC: A Hyperdimensional Computing compiler for classification on embedded systems and high-performance computing [58.720142291102135]
  この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。 nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。 これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-04-24T19:16:03Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Understanding Entropy Coding With Asymmetric Numeral Systems (ANS): a Statistician's Perspective [11.01582936909208]
  非対称数値システム(ANS)は最適な圧縮に非常に近づき、ビットバック符号のような高度な圧縮技術を単純化する。 本論文は、潜伏変数モデルの新しい視点から、ANSをより親しみやすくするための教育資源として意図されている。 我々は,Python プログラミング言語における ANS の完全な実装に向けて,読者を段階的にガイドする。
  論文  参考訳（メタデータ） (2022-01-05T18:04:42Z)
• Learning on a Grassmann Manifold: CSI Quantization for Massive MIMO Systems [37.499485219254545]
  本稿では,基礎となるチャネル分布に対する平均正規化ビームフォーミングゲインを最大化するビームフォーミングコードブックの設計に焦点をあてる。 我々は,機械学習の基礎となるモデルフリーなデータ駆動型手法を用いて,周囲の伝搬条件に適応するビームフォーミングコードブックを生成する。
  論文  参考訳（メタデータ） (2020-05-18T01:01:36Z)
• A flexible, extensible software framework for model compression based on the LC algorithm [10.787390511207683]
  ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。 ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
  論文  参考訳（メタデータ） (2020-05-15T21:14:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。