論文の概要: NASRec: Weight Sharing Neural Architecture Search for Recommender Systems

• arxiv url: http://arxiv.org/abs/2207.07187v1
• Date: Thu, 14 Jul 2022 20:15:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 14:32:42.190525
• Title: NASRec: Weight Sharing Neural Architecture Search for Recommender Systems
• Title（参考訳）: NASRec:Recommenderシステムのためのニューラルネットワーク検索の軽量化
• Authors: Tunhou Zhang, Dehua Cheng, Yuchen He, Zhengxing Chen, Xiaoliang Dai, Liang Xiong, Feng Yan, Hai Li, Yiran Chen, Wei Wen
• Abstract要約: NASRecは,1つのスーパーネットをトレーニングし,重量共有により豊富なモデル/サブアーキテクチャを効率的に生成するパラダイムである。 CTR(Click-Through Rates)の3つの予測ベンチマークの結果,NASRecは手動設計モデルと既存のNAS手法の両方より優れていることが示された。
• 参考スコア（独自算出の注目度）: 40.54254555949057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of deep neural networks provides an important driver in optimizing recommender systems. However, the success of recommender systems lies in delicate architecture fabrication, and thus calls for Neural Architecture Search (NAS) to further improve its modeling. We propose NASRec, a paradigm that trains a single supernet and efficiently produces abundant models/sub-architectures by weight sharing. To overcome the data multi-modality and architecture heterogeneity challenges in recommendation domain, NASRec establishes a large supernet (i.e., search space) to search the full architectures, with the supernet incorporating versatile operator choices and dense connectivity minimizing human prior for flexibility. The scale and heterogeneity in NASRec impose challenges in search, such as training inefficiency, operator-imbalance, and degraded rank correlation. We tackle these challenges by proposing single-operator any-connection sampling, operator-balancing interaction modules, and post-training fine-tuning. Our results on three Click-Through Rates (CTR) prediction benchmarks show that NASRec can outperform both manually designed models and existing NAS methods, achieving state-of-the-art performance.
• Abstract（参考訳）: ディープニューラルネットワークの台頭は、レコメンデータシステムの最適化において重要なドライバとなる。 しかし、レコメンダシステムの成功はアーキテクチャの繊細な構築に関係しており、そのモデリングをさらに改善するためにニューラルアーキテクチャサーチ(NAS)を求めている。 NASRecは,1つのスーパーネットをトレーニングし,重量共有により豊富なモデル/サブアーキテクチャを効率的に生成するパラダイムである。 NASRecは、レコメンデーションドメインにおけるデータの多モード性とアーキテクチャの不均一性を克服するために、完全なアーキテクチャを探索する巨大なスーパーネット(すなわち検索スペース)を確立し、そのスーパーネットは多目的演算子の選択を取り入れ、柔軟性のために人間の優先順位を最小化する。 NASRecのスケールと異質性は、訓練の非効率性、演算子不均衡、劣化したランク相関などの探索において課題を課している。 我々は,シングルオペレータのany-connectionサンプリング,オペレータ-バランシングインタラクションモジュール,トレーニング後の微調整を提案することで,これらの課題に取り組む。 CTR(Click-Through Rates)の3つの予測ベンチマークの結果,NASRecは手動設計モデルと既存のNAS手法の両方より優れた性能を示し,最先端の性能を実現している。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Farthest Greedy Path Sampling for Two-shot Recommender Search [15.754449293550744]
  本稿では,Farthest Greedy Path Smpling (FGPS)を紹介した。 FGPSはパスの多様性を高め、より包括的なスーパーネット探索を促進するとともに、パス品質を強調し、将来的なアーキテクチャの効果的な識別と利用を保証する。 提案手法は,手作業で設計したモデルとほとんどのNASベースのモデルの両方より優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-10-31T17:59:14Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• Enabling NAS with Automated Super-Network Generation [60.72821429802335]
  最近のニューラルアーキテクチャサーチ(NAS)ソリューションは、スーパーネットワークをトレーニングし、それから導出作業を行うという印象的な結果を生み出している。 本稿では,NAS用スーパーネットワークの自動生成のためのソフトウェアフレームワークであるBootstrapNASを紹介する。
  論文  参考訳（メタデータ） (2021-12-20T21:45:48Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• HMCNAS: Neural Architecture Search using Hidden Markov Chains and Bayesian Optimization [2.685668802278155]
  HMCNASは、特定のタスクに関する人間的な知識を必要とせずに、競争モデルを作成する方法を提供することによって、NASを一般化するステップを提供する。
  論文  参考訳（メタデータ） (2020-07-31T16:04:08Z)
• Federated Neural Architecture Search [19.573780215917477]
  我々は、フェデレートニューラルアーキテクチャサーチと呼ばれる新しいDNNトレーニングパラダイムとして、分散トレーニングへの自動ニューラルアーキテクチャサーチを提案する。 我々は、効率的なフェデレーションNASのための高度に最適化されたフレームワークであるFedNASを提案する。 大規模なデータセットと典型的なCNNアーキテクチャでテストされたFedNASは、最先端NASアルゴリズムと同等のモデル精度を達成している。
  論文  参考訳（メタデータ） (2020-02-15T10:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。