論文の概要: AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System

• arxiv url: http://arxiv.org/abs/2411.07504v1
• Date: Tue, 12 Nov 2024 03:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:17:31.724463
• Title: AdaS&S: a One-Shot Supernet Approach for Automatic Embedding Size Search in Deep Recommender System
• Title（参考訳）: AdaS&S:ディープレコメンダシステムにおけるワンショットスーパーネットによる埋め込みサイズの自動探索
• Authors: He Wei, Yuekui Yang, Yang Zhang, Haiyang Wu, Meixi Liu, Shaoping Ma,
• Abstract要約: 本稿では,AdaS&Sと呼ばれる新しい一発AESフレームワークを提案する。 最初の段階では、トレーニングパラメータを埋め込みサイズから切り離し、適応サンプリング法を提案し、よく訓練されたスーパーネットを生成する。 第2段階では、モデル効果の恩恵を受ける埋め込みサイズを得るために、以前に訓練されたスーパーネットを利用した強化学習探索プロセスを設計する。
• 参考スコア（独自算出の注目度）: 15.119643144224021
• License:
• Abstract: Deep Learning Recommendation Model(DLRM)s utilize the embedding layer to represent various categorical features. Traditional DLRMs adopt unified embedding size for all features, leading to suboptimal performance and redundant parameters. Thus, lots of Automatic Embedding size Search (AES) works focus on obtaining mixed embedding sizes with strong model performance. However, previous AES works can hardly address several challenges together: (1) The search results of embedding sizes are unstable; (2) Recommendation effect with AES results is unsatisfactory; (3) Memory cost of embeddings is uncontrollable. To address these challenges, we propose a novel one-shot AES framework called AdaS&S, in which a supernet encompassing various candidate embeddings is built and AES is performed as searching network architectures within it. Our framework contains two main stages: In the first stage, we decouple training parameters from searching embedding sizes, and propose the Adaptive Sampling method to yield a well-trained supernet, which further helps to produce stable AES results. In the second stage, to obtain embedding sizes that benefits the model effect, we design a reinforcement learning search process which utilizes the supernet trained previously. Meanwhile, to adapt searching to specific resource constraint, we introduce the resource competition penalty to balance the model effectiveness and memory cost of embeddings. We conduct extensive experiments on public datasets to show the superiority of AdaS&S. Our method could improve AUC by about 0.3% while saving about 20% of model parameters. Empirical analysis also shows that the stability of searching results in AdaS&S significantly exceeds other methods.
• Abstract（参考訳）: Deep Learning Recommendation Model (DLRM) は埋め込み層を利用して様々なカテゴリの特徴を表現している。 従来のDLRMはすべての機能に統一的な埋め込みサイズを採用しており、最適化されたパフォーマンスと冗長なパラメータをもたらす。 このように、多くの自動埋め込みサイズ検索(AES)は、強力なモデル性能を持つ混合埋め込みサイズを得ることに重点を置いている。 しかし,従来の AES では,(1) 埋め込みサイズによる検索結果が不安定であること,(2) AES による推薦効果が不十分であること,(3) 埋め込みのメモリコストが制御不能であること,など,いくつかの課題に対処できない。 これらの課題に対処するため、AdaS&Sと呼ばれる新しい一発AESフレームワークを提案し、様々な候補埋め込みを含むスーパーネットを構築し、その内部のネットワークアーキテクチャを探索する。 最初の段階では、トレーニングパラメータを埋め込みサイズの探索から切り離し、適応サンプリング法を提案し、より訓練されたスーパーネットを出力し、より安定したAES結果を得るのに役立つ。 第2段階では、モデル効果の恩恵を受ける埋め込みサイズを得るために、以前に訓練されたスーパーネットを利用した強化学習探索プロセスを設計する。 一方、特定の資源制約に適応するために、埋め込みのモデルの有効性とメモリコストのバランスをとるために、資源競争のペナルティを導入する。 我々は、AdaS&Sの優位性を示すために、公開データセットに関する広範な実験を行う。 モデルパラメータの約20%を節約しつつ,AUCを約0.3%改善することができた。 また,AdaS&Sにおける探索結果の安定性は,他の手法よりも有意に高いことを示した。

関連論文リスト

• Dynamic Encoder Size Based on Data-Driven Layer-wise Pruning for Speech Recognition [24.71497121634708]
  可変サイズモデルは、異なるハードウェアおよび/またはアプリケーション制約下でASRシステムをデプロイするためにしばしば必要とされる。 動的エンコーダ・サイズ・アプローチを提案する。この手法は1つのスーパーネット内の複数のパフォーマンスモデルをスクラッチからトレーニングする。
  論文  参考訳（メタデータ） (2024-07-10T08:35:21Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
  我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。 各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-23T16:32:18Z)
• Efficient and Joint Hyperparameter and Architecture Search for Collaborative Filtering [31.25094171513831]
  協調フィルタリングモデルのための2段階探索アルゴリズムを提案する。 最初の段階では、サブサンプルデータセットからの知識を活用して評価コストを削減します。 第2段階では、データセット全体の上位候補モデルを効率的に微調整する。
  論文  参考訳（メタデータ） (2023-07-12T10:56:25Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Lightweight Single-Image Super-Resolution Network with Attentive Auxiliary Feature Learning [73.75457731689858]
  本稿では,SISR の注意補助機能 (A$2$F) に基づく計算効率が高く正確なネットワークを構築した。 大規模データセットを用いた実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-11-13T06:01:46Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Differentiable Neural Input Search for Recommender Systems [26.88124270897381]
  Differentiable Neural Input Search (DNIS) は、より柔軟な空間における混合特徴埋め込み次元を探索する手法である。 DNISはモデルに依存しないため、既存の潜在因子モデルとシームレスに統合して推奨することができる。
  論文  参考訳（メタデータ） (2020-06-08T10:43:59Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。