論文の概要: Efficient and Joint Hyperparameter and Architecture Search for Collaborative Filtering

• arxiv url: http://arxiv.org/abs/2307.11004v1
• Date: Wed, 12 Jul 2023 10:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 11:09:35.731579
• Title: Efficient and Joint Hyperparameter and Architecture Search for Collaborative Filtering
• Title（参考訳）: 協調フィルタリングにおける高パラメータと構造探索の効率化
• Authors: Yan Wen, Chen Gao, Lingling Yi, Liwei Qiu, Yaqing Wang, Yong Li
• Abstract要約: 協調フィルタリングモデルのための2段階探索アルゴリズムを提案する。 最初の段階では、サブサンプルデータセットからの知識を活用して評価コストを削減します。 第2段階では、データセット全体の上位候補モデルを効率的に微調整する。
• 参考スコア（独自算出の注目度）: 31.25094171513831
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Machine Learning (AutoML) techniques have recently been introduced to design Collaborative Filtering (CF) models in a data-specific manner. However, existing works either search architectures or hyperparameters while ignoring the fact they are intrinsically related and should be considered together. This motivates us to consider a joint hyperparameter and architecture search method to design CF models. However, this is not easy because of the large search space and high evaluation cost. To solve these challenges, we reduce the space by screening out usefulness yperparameter choices through a comprehensive understanding of individual hyperparameters. Next, we propose a two-stage search algorithm to find proper configurations from the reduced space. In the first stage, we leverage knowledge from subsampled datasets to reduce evaluation costs; in the second stage, we efficiently fine-tune top candidate models on the whole dataset. Extensive experiments on real-world datasets show better performance can be achieved compared with both hand-designed and previous searched models. Besides, ablation and case studies demonstrate the effectiveness of our search framework.
• Abstract（参考訳）: 自動機械学習(AutoML)技術は、データ固有の方法で協調フィルタリング(CF)モデルを設計するために最近導入された。 しかし、既存の研究はアーキテクチャやハイパーパラメータを探索する一方で、それらが本質的に関連しており、一緒に考えるべきであるという事実を無視している。 これにより、CFモデルを設計するための統合ハイパーパラメータとアーキテクチャ探索法を考えることができる。 しかし,大規模な検索スペースと高い評価コストのため,これは容易ではない。 これらの課題を解決するために,各ハイパーパラメータの包括的理解を通じてyperパラメータの選択の有用性をスクリーニングすることにより,空間を縮小する。 次に,縮小空間から適切な構成を求めるための2段階探索アルゴリズムを提案する。 第1段階では、サブサンプルデータセットからの知識を活用して評価コストを削減する。第2段階では、データセット全体の上位候補モデルを効率的に微調整する。 実世界のデータセットに関する広範囲な実験は、ハンドデザインモデルと以前の検索モデルの両方と比較して、パフォーマンスが向上することを示している。 また,アブレーションとケーススタディは,検索フレームワークの有効性を示す。

関連論文リスト

• Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
  PropEnは'matching'にインスパイアされている。 一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
  論文  参考訳（メタデータ） (2024-05-28T11:30:19Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency [10.641875933652647]
  我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。 各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。 CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-23T16:32:18Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Efficient Data-specific Model Search for Collaborative Filtering [56.60519991956558]
  協調フィルタリング(CF)はレコメンダシステムの基本的なアプローチである。 本稿では,機械学習(AutoML)の最近の進歩を動機として,データ固有のCFモデルを設計することを提案する。 ここでキーとなるのは、最先端(SOTA)のCFメソッドを統一し、それらを入力エンコーディング、埋め込み関数、インタラクション、予測関数の非結合ステージに分割する新しいフレームワークである。
  論文  参考訳（メタデータ） (2021-06-14T14:30:32Z)
• Generalization Guarantees for Neural Architecture Search with Train-Validation Split [48.265305046655996]
  本稿では,列車検証分割の統計的側面について検討する。 リスクや高度勾配などの検証損失の洗練された特性は、真のテスト損失の指標であることを示す。 また、NAS、マルチカーネル学習、低ランク行列学習の厳密な接続も強調する。
  論文  参考訳（メタデータ） (2021-04-29T06:11:00Z)
• Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning [3.479254848034425]
  私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。 私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
  論文  参考訳（メタデータ） (2020-03-27T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。