論文の概要: AutoML for Large Capacity Modeling of Meta's Ranking Systems

• arxiv url: http://arxiv.org/abs/2311.07870v2
• Date: Thu, 16 Nov 2023 17:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 11:21:26.539172
• Title: AutoML for Large Capacity Modeling of Meta's Ranking Systems
• Title（参考訳）: メタランキングシステムの大規模キャパシティモデリングのためのオートML
• Authors: Hang Yin, Kuang-Hung Liu, Mengying Sun, Yuxin Chen, Buyun Zhang, Jiang Liu, Vivek Sehgal, Rudresh Rajnikant Panchal, Eugen Hotaj, Xi Liu, Daifeng Guo, Jamey Zhang, Zhou Wang, Shali Jiang, Huayu Li, Zhengxing Chen, Wen-Yen Chen, Jiyan Yang, Wei Wen
• Abstract要約: 本稿では,大容量モデル構築のためのサンプリングベースAutoML手法を提案する。 提案手法は,優れた投資収益率(ROI)と人為的調整ベースライン(調整ベースライン)を達成可能であることを示す。 提案されたAutoMLメソッドは、大規模なオンラインA/Bテストで-0.36% NEゲインを持つInstagram CTRモデルが選択され、統計的に有意な増加を示すという、現実的な影響をすでに与えている。
• 参考スコア（独自算出の注目度）: 29.717756064694278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Web-scale ranking systems at Meta serving billions of users is complex. Improving ranking models is essential but engineering heavy. Automated Machine Learning (AutoML) can release engineers from labor intensive work of tuning ranking models; however, it is unknown if AutoML is efficient enough to meet tight production timeline in real-world and, at the same time, bring additional improvements to the strong baselines. Moreover, to achieve higher ranking performance, there is an ever-increasing demand to scale up ranking models to even larger capacity, which imposes more challenges on the efficiency. The large scale of models and tight production schedule requires AutoML to outperform human baselines by only using a small number of model evaluation trials (around 100). We presents a sampling-based AutoML method, focusing on neural architecture search and hyperparameter optimization, addressing these challenges in Meta-scale production when building large capacity models. Our approach efficiently handles large-scale data demands. It leverages a lightweight predictor-based searcher and reinforcement learning to explore vast search spaces, significantly reducing the number of model evaluations. Through experiments in large capacity modeling for CTR and CVR applications, we show that our method achieves outstanding Return on Investment (ROI) versus human tuned baselines, with up to 0.09% Normalized Entropy (NE) loss reduction or $25\%$ Query per Second (QPS) increase by only sampling one hundred models on average from a curated search space. The proposed AutoML method has already made real-world impact where a discovered Instagram CTR model with up to -0.36% NE gain (over existing production baseline) was selected for large-scale online A/B test and show statistically significant gain. These production results proved AutoML efficacy and accelerated its adoption in ranking systems at Meta.
• Abstract（参考訳）: Metaのウェブスケールランキングシステムは、何十億ものユーザーにサービスを提供している。 ランキングモデルの改善は不可欠だが、エンジニアリングは重い。 Automated Machine Learning (AutoML)は、ランキングモデルをチューニングする労働集約的な作業からエンジニアを解放することができるが、AutoMLが実世界で厳密な生産スケジュールを満たすのに十分な効率であるかどうかは不明であり、同時に強力なベースラインにさらなる改善をもたらす。 さらに、より高いランキング性能を達成するために、さらに大きなキャパシティにランキングモデルをスケールアップする需要がますます高まり、効率により多くの課題が課されている。 大規模なモデルと厳密な生産スケジュールでは、AutoMLは少数のモデル評価試験(約100)を使用することで、人間のベースラインを上回ります。 本稿では,ニューラルアーキテクチャ探索とハイパーパラメータ最適化に着目したサンプリングベースのAutoML手法を提案する。 当社のアプローチは大規模データ要求を効率的に処理する。 軽量な予測器ベースの検索と強化学習を利用して、広大な検索空間を探索し、モデル評価の数を大幅に削減する。 CTRおよびCVRアプリケーションのための大規模キャパシティモデリング実験により, 最大0.09%の正規化エントロピー(NE)損失削減あるいは25 %$ Query per second (QPS) の増加を, キュレートされた検索空間から平均100モデルのみをサンプリングすることで, 優れた投資収益率(ROI)と人間の調整ベースライン(ROI)を達成することを示す。 提案したAutoMLメソッドは、大規模なオンラインA/Bテストで-0.36% NEゲインを持つInstagram CTRモデル(既存のプロダクションベースライン以上)が選択され、統計的に有意なゲインを示すという、すでに現実的な影響を与えている。 これらの生産結果はautomlの有効性を証明し、metaにおけるランキングシステムの採用を加速させた。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot Learning [52.101643259906915]
  本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。 既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。 本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T21:04:31Z)
• AutoXPCR: Automated Multi-Objective Model Selection for Time Series Forecasting [1.0515439489916734]
  本稿では,自動的かつ説明可能な多目的モデル選択のための新しい手法であるAutoXPCRを提案する。 我々の手法はメタラーニングを利用して、(P)予測誤差、(C)ミスプレキシティ、(R)ソース要求を含むPCR基準に沿ったモデルの性能を推定する。 我々の手法は、他のモデル選択手法よりも明らかに優れている。平均すると、最高の品質の90%のモデルに推奨する計算コストの20%しか必要としない。
  論文  参考訳（メタデータ） (2023-12-20T14:04:57Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge Collaborative AutoML System [85.8338446357469]
  我々は人間中心のAutoMLシステムであるOmniForceを紹介した。 我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
  論文  参考訳（メタデータ） (2023-03-01T13:35:22Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)
• Fast Online Adaptation in Robotics through Meta-Learning Embeddings of Simulated Priors [3.4376560669160385]
  現実の世界では、ロボットはモーターの故障から岩の多い地形で自分自身を見つけるまで、あらゆる状況に遭遇するかもしれない。 FAMLEにより、ロボットはベースラインよりもはるかに少ない時間で、新たな損傷に適応できることを示す。
  論文  参考訳（メタデータ） (2020-03-10T12:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。