論文の概要: Tuning Word2vec for Large Scale Recommendation Systems

• arxiv url: http://arxiv.org/abs/2009.12192v1
• Date: Thu, 24 Sep 2020 10:50:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 04:32:20.457008
• Title: Tuning Word2vec for Large Scale Recommendation Systems
• Title（参考訳）: 大規模レコメンデーションシステムのためのWord2vecのチューニング
• Authors: Benjamin P. Chamberlain, Emanuele Rossi, Dan Shiebler, Suvash Sedhain, Michael M. Bronstein
• Abstract要約: Word2vecはNatural Lan-guage Processing(NLP)から生まれた強力な機械学習ツール 本研究では,制約のない最適化により,パラメータよりも平均221%のヒット率向上が得られることを示す。 予算制約付き高パラメータ最適化によるヒット率平均138%の改善を実証した。
• 参考スコア（独自算出の注目度）: 14.074296985040704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Word2vec is a powerful machine learning tool that emerged from Natural Lan-guage Processing (NLP) and is now applied in multiple domains, including recom-mender systems, forecasting, and network analysis. As Word2vec is often used offthe shelf, we address the question of whether the default hyperparameters are suit-able for recommender systems. The answer is emphatically no. In this paper, wefirst elucidate the importance of hyperparameter optimization and show that un-constrained optimization yields an average 221% improvement in hit rate over thedefault parameters. However, unconstrained optimization leads to hyperparametersettings that are very expensive and not feasible for large scale recommendationtasks. To this end, we demonstrate 138% average improvement in hit rate with aruntime budget-constrained hyperparameter optimization. Furthermore, to makehyperparameter optimization applicable for large scale recommendation problemswhere the target dataset is too large to search over, we investigate generalizinghyperparameters settings from samples. We show that applying constrained hy-perparameter optimization using only a 10% sample of the data still yields a 91%average improvement in hit rate over the default parameters when applied to thefull datasets. Finally, we apply hyperparameters learned using our method of con-strained optimization on a sample to the Who To Follow recommendation serviceat Twitter and are able to increase follow rates by 15%.
• Abstract（参考訳）: Word2vecはNatural Lan-guage Processing(NLP)から生まれた強力な機械学習ツールで、現在はrecom-menderシステム、予測、ネットワーク分析など、複数のドメインに適用されている。 Word2vecは棚外でよく使われるので、デフォルトのハイパーパラメータがレコメンダシステムに適しているかどうかという問題に対処する。 答えは強調するとノーだ。 本稿では,まずハイパーパラメータ最適化の重要性を解明し,非制約最適化がデフォルトパラメータよりも平均221%向上することを示す。 しかし、制約のない最適化は、非常に高価で大規模なレコメンデーションタスクでは実現不可能なハイパーパラメータセットをもたらす。 この結果から,予算制約付きハイパーパラメータ最適化によるヒット率平均138%の改善が示された。 さらに,対象データセットが大きすぎる大規模レコメンデーション問題に対してハイパーパラメータ最適化を適用するために,サンプルからのハイパーパラメータ設定の一般化を検討した。 データの10%のサンプルのみを用いた制約付きハイパーパラメタ最適化は、フルデータセットに適用した場合のデフォルトパラメータに対する平均ヒット率を91%向上させる。 最後に,提案手法を用いて学習したハイパーパラメータをサンプルに適用し,twitterの推奨サービスに従う方法を示し,フォロー率を15%向上させることができた。

関連論文リスト

• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Optimal Hyperparameter $\epsilon$ for Adaptive Stochastic Optimizers through Gradient Histograms [0.8702432681310399]
  属性適応を解析・正当化するための勾配ヒストグラムに基づく新しいフレームワークを提案する。 そこで本稿では,セーフガード係数$epsilon$に対する縮小された正確な探索空間を自動的に推定する,勾配ヒストグラムに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-20T04:34:19Z)
• DP-HyPO: An Adaptive Private Hyperparameter Optimization Framework [31.628466186344582]
  適応'のプライベートハイパーパラメータ最適化のための先駆的フレームワークであるDP-HyPOを紹介する。 フレームワークの総合的な差分プライバシー分析を提供する。 本研究では,DP-HyPOが実世界の多様なデータセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-09T07:55:46Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning [72.54359545547904]
  ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。 ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-03-15T19:25:01Z)
• Automatic prior selection for meta Bayesian optimization with a case study on tuning deep neural network optimizers [47.013395100497775]
  このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。 BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。 我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules [0.6875312133832078]
  トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。 我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:48Z)
• Hyperparameter Selection for Subsampling Bootstraps [0.0]
  BLBのようなサブサンプリング手法は、大量のデータに対する推定器の品質を評価する強力なツールとして機能する。 サブサンプリング法の性能は,チューニングパラメータの選択によって大きく影響を受ける。 本研究では,サブサンプリング手法のチューニングパラメータの選択に利用できるハイパーパラメータ選択手法を開発した。 シミュレーション研究と実データ解析の両方が,本手法の優位性を証明している。
  論文  参考訳（メタデータ） (2020-06-02T17:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。