論文の概要: The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems

• arxiv url: http://arxiv.org/abs/2505.11388v1
• Date: Fri, 16 May 2025 15:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.560895
• Title: The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems
• Title（参考訳）: 未来はスパース:Recommenderシステムにおけるスケーラブル検索のための圧縮の埋め込み
• Authors: Petr Kasalický, Martin Spišák, Vojtěch Vančura, Daniel Bohuněk, Rodrigo Alves, Pavel Kordík,
• Abstract要約: 本稿では,高次元の疎活性化空間に密着した埋め込みを投影する軽量で学習可能な埋め込み圧縮手法について述べる。 提案手法は,大規模レコメンデータの効率向上に有効であることを示すものである。
• 参考スコア（独自算出の注目度）: 3.034710104407876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Industry-scale recommender systems face a core challenge: representing entities with high cardinality, such as users or items, using dense embeddings that must be accessible during both training and inference. However, as embedding sizes grow, memory constraints make storage and access increasingly difficult. We describe a lightweight, learnable embedding compression technique that projects dense embeddings into a high-dimensional, sparsely activated space. Designed for retrieval tasks, our method reduces memory requirements while preserving retrieval performance, enabling scalable deployment under strict resource constraints. Our results demonstrate that leveraging sparsity is a promising approach for improving the efficiency of large-scale recommenders. We release our code at https://github.com/recombee/CompresSAE.
• Abstract（参考訳）: 業界規模のレコメンデータシステムは、ユーザやアイテムなど、高い濃度のエンティティを表現し、トレーニングと推論の両方でアクセスできなければならない密着な埋め込みを使用するという、中核的な課題に直面します。 しかし、埋め込みサイズが大きくなるにつれて、メモリの制約によってストレージとアクセスがますます困難になる。 本稿では,高次元の疎活性化空間に密着した埋め込みを投影する軽量で学習可能な埋め込み圧縮手法について述べる。 検索タスク用に設計された本手法は,検索性能を維持しながらメモリ要求を低減し,厳密なリソース制約の下でスケーラブルな展開を可能にする。 提案手法は,大規模レコメンデータの効率向上に有効であることを示すものである。 コードをhttps://github.com/recombee/CompresSAEでリリースします。

関連論文リスト

• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• Embedding Compression in Recommender Systems: A Survey [44.949824174769]
  本稿では,ディープラーニングレコメンデーションモデルと,レコメンデーションシステムへの埋め込み圧縮の基本概念を紹介する。 既存のアプローチを,低精度,混合次元,重量共有という3つのカテゴリに体系的に分類する。
  論文  参考訳（メタデータ） (2024-08-05T08:30:16Z)
• Scalable Dynamic Embedding Size Search for Streaming Recommendation [54.28404337601801]
  実世界のレコメンデーションシステムは、しばしばストリーミングレコメンデーションシナリオで機能する。 ユーザやアイテムの数は増加を続けており、かなりのストレージリソース消費につながっている。 SCALLと呼ばれるストリーミングレコメンデーション用のLightweight Embeddingsを学び、ユーザ/イテムの埋め込みサイズを適応的に調整できる。
  論文  参考訳（メタデータ） (2024-07-22T06:37:24Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Embedding Compression for Efficient Re-Identification [0.0]
  ReIDアルゴリズムは、オブジェクトの新しい観測結果を以前に記録されたインスタンスにマッピングすることを目的としている。 我々は3つの異なる次元還元法とともに量子化学習をベンチマークする。 ReIDの埋め込みは96倍まで圧縮でき、性能は最小限に抑えられる。
  論文  参考訳（メタデータ） (2024-05-23T15:57:11Z)
• Hierarchical Context Merging: Better Long Context Understanding for Pre-trained LLMs [61.40047491337793]
  本稿では,大規模言語モデルの制約を克服する新しいトレーニングフリースキームである階層型cOntext MERging(HOMER)を提案する。 HomeRは、長いインプットを管理可能なチャンクに分割する、分別/対数アルゴリズムを使用する。 トークン削減技術がマージ毎に先行し、メモリ使用効率が保証される。
  論文  参考訳（メタデータ） (2024-04-16T06:34:08Z)
• Dynamic Embedding Size Search with Minimum Regret for Streaming Recommender System [39.78277554870799]
  同一かつ静的な埋め込みサイズの設定は、推奨性能とメモリコストの面で準最適であることを示す。 非定常的な方法でユーザ側とアイテム側の埋め込みサイズ選択を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T13:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。