論文の概要: Towards Automated Model Design on Recommender Systems

• arxiv url: http://arxiv.org/abs/2411.07569v1
• Date: Tue, 12 Nov 2024 06:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:51.794280
• Title: Towards Automated Model Design on Recommender Systems
• Title（参考訳）: リコメンダシステムにおけるモデル自動設計に向けて
• Authors: Tunhou Zhang, Dehua Cheng, Yuchen He, Zhengxing Chen, Xiaoliang Dai, Liang Xiong, Yudong Liu, Feng Cheng, Yufan Cao, Feng Yan, Hai Li, Yiran Chen, Wei Wen,
• Abstract要約: 重量共有を利用して豊富な解空間を探索する新しいパラダイムを導入する。 共同設計の観点からは,2倍FLOPs効率,1.8倍エネルギー効率,1.5倍の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 21.421326082345136
• License:
• Abstract: The increasing popularity of deep learning models has created new opportunities for developing AI-based recommender systems. Designing recommender systems using deep neural networks requires careful architecture design, and further optimization demands extensive co-design efforts on jointly optimizing model architecture and hardware. Design automation, such as Automated Machine Learning (AutoML), is necessary to fully exploit the potential of recommender model design, including model choices and model-hardware co-design strategies. We introduce a novel paradigm that utilizes weight sharing to explore abundant solution spaces. Our paradigm creates a large supernet to search for optimal architectures and co-design strategies to address the challenges of data multi-modality and heterogeneity in the recommendation domain. From a model perspective, the supernet includes a variety of operators, dense connectivity, and dimension search options. From a co-design perspective, it encompasses versatile Processing-In-Memory (PIM) configurations to produce hardware-efficient models. Our solution space's scale, heterogeneity, and complexity pose several challenges, which we address by proposing various techniques for training and evaluating the supernet. Our crafted models show promising results on three Click-Through Rates (CTR) prediction benchmarks, outperforming both manually designed and AutoML-crafted models with state-of-the-art performance when focusing solely on architecture search. From a co-design perspective, we achieve 2x FLOPs efficiency, 1.8x energy efficiency, and 1.5x performance improvements in recommender models.
• Abstract（参考訳）: ディープラーニングモデルの普及は、AIベースのレコメンデータシステムを開発する新たな機会を生み出している。 ディープニューラルネットワークを用いたレコメンデータシステムの設計にはアーキテクチャ設計の注意が必要である。 Automated Machine Learning (AutoML)のような設計自動化は、モデル選択やモデルハードウェアの共同設計戦略を含む推奨モデル設計の可能性を完全に活用するために必要である。 重量共有を利用して豊富な解空間を探索する新しいパラダイムを導入する。 我々のパラダイムは、最適なアーキテクチャを探すための巨大なスーパーネットと、レコメンデーションドメインにおけるデータの多モード性と不均一性の課題に対処するための協調設計戦略を作成する。 モデルの観点からは、スーパーネットには様々な演算子、密接な接続性、次元探索オプションが含まれている。 共同設計の観点からは、ハードウェア効率の良いモデルを生成するために、多機能なProcess-In-Memory(PIM)構成を含んでいる。 我々の解空間のスケール、不均一性、複雑さにはいくつかの課題があり、スーパーネットのトレーニングと評価のための様々な技術を提案している。 CTR(Click-Through Rates)予測ベンチマークでは,手作業で設計したモデルとAutoMLで構築したモデルの両方を,アーキテクチャ検索のみに焦点を合わせる場合の最先端のパフォーマンスで上回り,有望な結果を示している。 共同設計の観点からは,2倍FLOPs効率,1.8倍エネルギー効率,1.5倍の性能向上を実現している。

関連論文リスト

• Vehicle Suspension Recommendation System: Multi-Fidelity Neural Network-based Mechanism Design Optimization [4.038368925548051]
  自動車のサスペンションは運転性能と乗り心地を改善するように設計されているが、環境によって異なる種類が利用できる。 従来の設計プロセスは多段階であり、設計候補の数を徐々に減らし、目標性能を満たすためにコスト分析を行う。 近年、AIモデルはFAAの計算コストの削減に利用されている。
  論文  参考訳（メタデータ） (2024-10-03T23:54:03Z)
• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• A Lightweight Feature Fusion Architecture For Resource-Constrained Crowd Counting [3.5066463427087777]
  クラウドカウントモデルの汎用性を高めるために,2つの軽量モデルを導入する。 これらのモデルは、MobileNetとMobileViTという2つの異なるバックボーンを持ちながら、同じダウンストリームアーキテクチャを維持している。 隣接特徴融合を利用して、事前学習モデル(PTM)から多様な特徴を抽出し、その後、シームレスにこれらの特徴を組み合わせる。
  論文  参考訳（メタデータ） (2024-01-11T15:13:31Z)
• Efficient Automatic Machine Learning via Design Graphs [72.85976749396745]
  最適なモデル設計を探索する効率的なサンプルベース手法であるFALCONを提案する。 FALCONは,1)グラフニューラルネットワーク(GNN)を介してデザイングラフ上でメッセージパッシングを行うタスク非依存モジュール,2)既知のモデル性能情報のラベル伝搬を行うタスク固有モジュールを特徴とする。 FALCONは,30個の探索ノードのみを用いて,各タスクに対して良好な性能を持つ設計を効率的に得ることを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-21T21:25:59Z)
• Triple-level Model Inferred Collaborative Network Architecture for Video Deraining [43.06607185181434]
  我々は,協調最適化と自動探索機構を用いてネットワークアーキテクチャを推定するモデル誘導三段階最適化フレームワークを開発した。 我々のモデルは、最先端の作業よりも忠実度と時間的一貫性が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2021-11-08T13:09:00Z)
• Dynamically Grown Generative Adversarial Networks [111.43128389995341]
  本稿では、ネットワークアーキテクチャとそのパラメータを自動化とともに最適化し、トレーニング中にGANを動的に成長させる手法を提案する。 本手法はアーキテクチャ探索手法を勾配に基づく訓練とインターリーブステップとして組み込んで,ジェネレータと識別器の最適アーキテクチャ成長戦略を定期的に探究する。
  論文  参考訳（メタデータ） (2021-06-16T01:25:51Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• MO-PaDGAN: Reparameterizing Engineering Designs for Augmented Multi-objective Optimization [13.866787416457454]
  多目的最適化は多くのエンジニアリング設計問題を解決する上で鍵となる。 深い生成モデルはコンパクトなデザイン表現を学ぶことができる。 Mo-PaDGANは、生成的対向ネットワークに決定的ポイントプロセスに基づく損失関数を追加する。
  論文  参考訳（メタデータ） (2020-09-15T13:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。