論文の概要: Dimension Mask Layer: Optimizing Embedding Efficiency for Scalable ID-based Models

• arxiv url: http://arxiv.org/abs/2510.15308v1
• Date: Fri, 17 Oct 2025 04:46:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.473771
• Title: Dimension Mask Layer: Optimizing Embedding Efficiency for Scalable ID-based Models
• Title（参考訳）: 次元マスク層:スケーラブルIDモデルに対する埋め込み効率の最適化
• Authors: Srijan Saket, Ikuhiro Ihara, Vaibhav Sharma, Danish Kalim,
• Abstract要約: Meta、TikTok、Instagramなどのレコメンデーションシステムやソーシャルメディアプラットフォームでは、大規模なIDベースの機能は大きなメモリを消費する埋め込みテーブルを必要とすることが多い。 本稿では,ID特徴量に対する最適埋め込みサイズを自動的に決定する手法を提案する。 本研究では,次元マスク層を用いることで,有効埋め込み次元を40～50%縮小し,メモリ効率を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 1.2599533416395765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern recommendation systems and social media platforms like Meta, TikTok, and Instagram, large-scale ID-based features often require embedding tables that consume significant memory. Managing these embedding sizes can be challenging, leading to bulky models that are harder to deploy and maintain. In this paper, we introduce a method to automatically determine the optimal embedding size for ID features, significantly reducing the model size while maintaining performance. Our approach involves defining a custom Keras layer called the dimension mask layer, which sits directly after the embedding lookup. This layer trims the embedding vector by allowing only the first N dimensions to pass through. By doing this, we can reduce the input feature dimension by more than half with minimal or no loss in model performance metrics. This reduction helps cut down the memory footprint of the model and lowers the risk of overfitting due to multicollinearity. Through offline experiments on public datasets and an online A/B test on a real production dataset, we demonstrate that using a dimension mask layer can shrink the effective embedding dimension by 40-50\%, leading to substantial improvements in memory efficiency. This method provides a scalable solution for platforms dealing with a high volume of ID features, optimizing both resource usage and model performance.
• Abstract（参考訳）: Meta、TikTok、Instagramなどのモダンなレコメンデーションシステムやソーシャルメディアプラットフォームでは、大規模なIDベースの機能は大きなメモリを消費する埋め込みテーブルを必要とすることが多い。 これらの埋め込みサイズを管理することは困難であり、デプロイとメンテナンスが困難になるような大きめのモデルに繋がる。 本稿では,ID特徴量に対する最適埋め込みサイズを自動的に決定する手法を提案する。 私たちのアプローチでは、埋め込みルックアップの直後に直接配置されるディメンションマスク層と呼ばれる独自のKeras層を定義します。 この層は、最初のN次元だけを通過させることで埋め込みベクトルをトリムする。 これを行うことで、モデルパフォーマンスメトリクスの損失を最小限に抑えながら、入力機能の寸法を半分以上削減できます。 この削減は、モデルのメモリフットプリントを削減し、マルチコリニティによるオーバーフィッティングのリスクを低減するのに役立つ。 公開データセットのオフライン実験と実運用データセットのオンラインA/Bテストを通じて、次元マスク層を使用することで、効果的な埋め込み次元を40～50倍に縮小し、メモリ効率が大幅に向上することを示した。 この手法は、大量のID機能を扱うプラットフォームに対してスケーラブルなソリューションを提供し、リソース使用量とモデル性能の両方を最適化する。

関連論文リスト

• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Instruction-Following Pruning for Large Language Models [58.329978053711024]
  我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。 本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。 我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
  論文  参考訳（メタデータ） (2025-01-03T20:19:14Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Fine-Grained Embedding Dimension Optimization During Training for Recommender Systems [17.602059421895856]
  FIITEDは、FIne-fine In-Training Embedding Dimension Pruningを通じてメモリフットプリントを自動的に削減するシステムである。 FIITEDは,モデル品質を維持しつつ,DLRMの埋め込みサイズを65%以上削減できることを示す。 公開データセットでは、FIITEDはテーブルの埋め込みサイズを2.1倍から800倍に減らすことができる。
  論文  参考訳（メタデータ） (2024-01-09T08:04:11Z)
• Vocabulary-level Memory Efficiency for Language Model Fine-tuning [36.1039389951318]
  微調整中,語彙のかなりの割合が未使用であることが判明した。 本稿では,メモリ使用量を最小限に抑えるため,この発見を利用したシンプルで効果的な手法を提案する。 我々の手法は、より効率的な計算資源の利用を可能にしながら、下流のタスク性能に影響を与えない。
  論文  参考訳（メタデータ） (2023-09-15T19:00:00Z)
• Dynamic Embedding Size Search with Minimum Regret for Streaming Recommender System [39.78277554870799]
  同一かつ静的な埋め込みサイズの設定は、推奨性能とメモリコストの面で準最適であることを示す。 非定常的な方法でユーザ側とアイテム側の埋め込みサイズ選択を最小化する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T13:27:18Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Binary Code based Hash Embedding for Web-scale Applications [12.851057275052506]
  ディープラーニングモデルは、レコメンダシステムやオンライン広告など、Webスケールのアプリケーションで広く採用されている。 これらのアプリケーションでは、分類的特徴の組込み学習がディープラーニングモデルの成功に不可欠である。 本稿では,バイナリコードに基づくハッシュ埋め込み方式を提案する。
  論文  参考訳（メタデータ） (2021-08-24T11:51:15Z)
• Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer [15.403616481651383]
  本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。 マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
  論文  参考訳（メタデータ） (2021-08-24T11:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。