論文の概要: Dynamic Surrogate Switching: Sample-Efficient Search for Factorization
Machine Configurations in Online Recommendations
- arxiv url: http://arxiv.org/abs/2209.14598v1
- Date: Thu, 29 Sep 2022 07:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:30:00.625120
- Title: Dynamic Surrogate Switching: Sample-Efficient Search for Factorization
Machine Configurations in Online Recommendations
- Title（参考訳）: dynamic surrogate switching: オンラインレコメンデーションにおける因子化マシン構成のサンプル効率検索
- Authors: Bla\v{z} \v{S}krlj, Adi Schwartz, Jure Ferle\v{z}, Davorin Kopi\v{c}
and Naama Ziporin
- Abstract要約: 本研究は, 最適化時のサロゲートの動的切替が実用的妥当性の合理的な考え方であるかどうかを考察する。
確立したベースラインに対して、数十億のインスタンスを含むデータセットのベンチマークを実施しました。
その結果,サロゲートスイッチングは学習エンジンの評価を減らしながら優れた性能が得られることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyperparameter optimization is the process of identifying the appropriate
hyperparameter configuration of a given machine learning model with regard to a
given learning task. For smaller data sets, an exhaustive search is possible;
However, when the data size and model complexity increase, the number of
configuration evaluations becomes the main computational bottleneck. A
promising paradigm for tackling this type of problem is surrogate-based
optimization. The main idea underlying this paradigm considers an incrementally
updated model of the relation between the hyperparameter space and the output
(target) space; the data for this model are obtained by evaluating the main
learning engine, which is, for example, a factorization machine-based model. By
learning to approximate the hyperparameter-target relation, the surrogate
(machine learning) model can be used to score large amounts of hyperparameter
configurations, exploring parts of the configuration space beyond the reach of
direct machine learning engine evaluation. Commonly, a surrogate is selected
prior to optimization initialization and remains the same during the search. We
investigated whether dynamic switching of surrogates during the optimization
itself is a sensible idea of practical relevance for selecting the most
appropriate factorization machine-based models for large-scale online
recommendation. We conducted benchmarks on data sets containing hundreds of
millions of instances against established baselines such as Random Forest- and
Gaussian process-based surrogates. The results indicate that surrogate
switching can offer good performance while considering fewer learning engine
evaluations.
- Abstract（参考訳）: ハイパーパラメータ最適化は、与えられた学習タスクに関して、与えられた機械学習モデルの適切なハイパーパラメータ構成を特定するプロセスである。
より小さなデータセットでは、徹底的な検索が可能であるが、データサイズとモデルの複雑さが増加すると、構成評価の回数が主要な計算ボトルネックとなる。
この種の問題に取り組むための有望なパラダイムは、surrogateベースの最適化である。
このパラダイムの根底にある主な考え方は、ハイパーパラメータ空間と出力(ターゲット)空間の関係の漸進的に更新されたモデルを考えることである。
ハイパーパラメータとターゲットの関係を近似するために学習することで、surrogate(machine learning)モデルを使用して、大量のハイパーパラメータ構成をスコア付けし、直接機械学習エンジンの評価の範囲を超えて構成空間の一部を探ることができる。
一般に、最適化初期化の前にサロゲートが選択され、検索中に同じままである。
大規模オンラインレコメンデーションにおいて,最適化時のサロゲートの動的切替が,最も適切な因子化マシンベースモデルを選択するための実践的関連性について検討した。
我々はランダムフォレストやガウスのプロセスベースサロゲートのような確立されたベースラインに対して、数十億のインスタンスを含むデータセットのベンチマークを行った。
その結果,サロゲートスイッチングは学習エンジンの評価を減らしながら優れた性能が得られることがわかった。
関連論文リスト
- An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
まず最適化モデルを構築し,非単調な選好をモデル化する。
本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。
2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
論文 参考訳（メタデータ） (2024-09-04T14:36:20Z) - Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。
既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。
6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
論文 参考訳（メタデータ） (2023-05-15T06:40:56Z) - Agent-based Collaborative Random Search for Hyper-parameter Tuning and
Global Function Optimization [0.0]
本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。
提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
論文 参考訳（メタデータ） (2023-03-03T21:10:17Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Towards Robust and Automatic Hyper-Parameter Tunning [39.04604349338802]
我々は,新しいHPO法を導入し,畳み込みネットワークの中間層の低ランク因子分解を用いて解析応答面を定義する方法について検討する。
我々は,この表面がモデル性能の代理としてどのように振る舞うかを定量化し,オートHyperと呼ぶ信頼領域探索アルゴリズムを用いて解くことができる。
論文 参考訳（メタデータ） (2021-11-28T05:27:34Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Application of an automated machine learning-genetic algorithm
(AutoML-GA) coupled with computational fluid dynamics simulations for rapid
engine design optimization [0.0]
本研究は,内燃機関のサロゲート最適化のための自動アクティブラーニング手法であるAutoML-GAについて述べる。
遺伝的アルゴリズムを用いて、機械学習サロゲート表面上の設計最適点を特定する。
その結果,AutoML-GAはCFDシミュレーションの少ない精度で最適化できることがわかった。
論文 参考訳（メタデータ） (2021-01-07T17:50:52Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳（メタデータ） (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。