論文の概要: AutoADR: Automatic Model Design for Ad Relevance

• arxiv url: http://arxiv.org/abs/2010.07075v1
• Date: Wed, 14 Oct 2020 13:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:56:37.255929
• Title: AutoADR: Automatic Model Design for Ad Relevance
• Title（参考訳）: AutoADR:広告関連のための自動モデル設計
• Authors: Yiren Chen, Yaming Yang, Hong Sun, Yujing Wang, Yu Xu, Wei Shen, Rong Zhou, Yunhai Tong, Jing Bai, Ruofei Zhang
• Abstract要約: 大規模事前学習モデルはメモリと計算集約型である。 効果的なモデルアーキテクチャを設計する方法は、オンライン広告レバレンスにおける別の難しい問題である。 この課題に対処するための新しいエンドツーエンドフレームワークであるAutoADRを提案する。
• 参考スコア（独自算出の注目度）: 26.890941853575253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained models have attracted extensive attention in the research community and shown promising results on various tasks of natural language processing. However, these pre-trained models are memory and computation intensive, hindering their deployment into industrial online systems like Ad Relevance. Meanwhile, how to design an effective yet efficient model architecture is another challenging problem in online Ad Relevance. Recently, AutoML shed new lights on architecture design, but how to integrate it with pre-trained language models remains unsettled. In this paper, we propose AutoADR (Automatic model design for AD Relevance) -- a novel end-to-end framework to address this challenge, and share our experience to ship these cutting-edge techniques into online Ad Relevance system at Microsoft Bing. Specifically, AutoADR leverages a one-shot neural architecture search algorithm to find a tailored network architecture for Ad Relevance. The search process is simultaneously guided by knowledge distillation from a large pre-trained teacher model (e.g. BERT), while taking the online serving constraints (e.g. memory and latency) into consideration. We add the model designed by AutoADR as a sub-model into the production Ad Relevance model. This additional sub-model improves the Precision-Recall AUC (PR AUC) on top of the original Ad Relevance model by 2.65X of the normalized shipping bar. More importantly, adding this automatically designed sub-model leads to a statistically significant 4.6% Bad-Ad ratio reduction in online A/B testing. This model has been shipped into Microsoft Bing Ad Relevance Production model.
• Abstract（参考訳）: 大規模事前学習モデルが研究コミュニティで広く注目を集め、自然言語処理の様々なタスクにおいて有望な結果を示している。 しかし、これらの事前訓練されたモデルはメモリと計算集約であり、Ad Relevanceのような産業用オンラインシステムへの展開を妨げる。 一方、効果的なモデルアーキテクチャを設計する方法は、オンライン広告レバレンスにおける別の難しい問題である。 最近、AutoMLはアーキテクチャ設計に新たな光を当てたが、それを事前訓練された言語モデルとどのように統合するかは未定のままである。 本稿では,この課題に対処する新しいエンドツーエンドフレームワークであるAutoADR (Automatic model design for AD Relevance)を提案する。 具体的には、AutoADRはワンショットのニューラルアーキテクチャ検索アルゴリズムを利用して、Ad Relevanceに適したネットワークアーキテクチャを見つける。 検索プロセスは、オンラインサービス制約(メモリやレイテンシなど)を考慮しながら、大きな事前学習された教師モデル(bertなど)からの知識蒸留によって同時に導かれる。 我々は、AutoADRがサブモデルとして設計したモデルを製品Ad Relevanceモデルに追加します。 この追加のサブモデルは、元のAd Relevanceモデルの上のPrecision-Recall AUC(PR AUC)を通常の出荷バーの2.65倍改善する。 さらに重要なことに、この自動設計のサブモデルを追加すると、オンラインa/bテストで統計的に4.6%の悪いad比が低下する。 このモデルはMicrosoft Bing Ad Relevance Productionモデルに出荷されている。

関連論文リスト

• Towards Automated Model Design on Recommender Systems [21.421326082345136]
  重量共有を利用して豊富な解空間を探索する新しいパラダイムを導入する。 共同設計の観点からは,2倍FLOPs効率,1.8倍エネルギー効率,1.5倍の性能向上を実現している。
  論文  参考訳（メタデータ） (2024-11-12T06:03:47Z)
• Mitigating Downstream Model Risks via Model Provenance [30.083382916838623]
  モデルレコードの作成を簡単にするための機械可読モデル仕様フォーマットを提案する。 私たちのソリューションは、アップストリームモデルとダウンストリームモデルの関係を明確にトレースし、透明性とトレーサビリティを向上します。 この概念実証の目的は、基礎モデルを管理するための新しい標準を設定し、イノベーションと責任あるモデル管理のギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-10-03T05:52:15Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• A Car Model Identification System for Streamlining the Automobile Sales Process [0.0]
  本研究は,自動車モデルと画像の効率的な識別のための自動解法を提案する。 我々は、EfficientNet (V2 b2)アーキテクチャを使用した81.97%の顕著な精度を達成した。 トレーニングされたモデルは、情報抽出を自動化する可能性を提供し、自動車販売ウェブサイト全体でのユーザエクスペリエンスの向上を約束する。
  論文  参考訳（メタデータ） (2023-10-19T23:36:17Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• Resource-Aware Pareto-Optimal Automated Machine Learning Platform [1.6746303554275583]
  新プラットフォーム Resource-Aware AutoML (RA-AutoML) RA-AutoMLは、フレキシブルで一般化されたアルゴリズムで、複数の目的に合わせた機械学習モデルを構築することができる。
  論文  参考訳（メタデータ） (2020-10-30T19:37:48Z)
• Fast, Accurate, and Simple Models for Tabular Data via Augmented Distillation [97.42894942391575]
  本研究では、FAST-DADを用いて、任意の複雑なアンサンブル予測を、高木、無作為林、深層ネットワークなどの個々のモデルに抽出する。 我々の個々の蒸留モデルは、H2O/AutoSklearnのようなAutoMLツールが生成するアンサンブル予測よりも10倍高速で精度が高い。
  論文  参考訳（メタデータ） (2020-06-25T09:57:47Z)
• AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction [75.16836697734995]
  自動特徴相互作用選択(AutoFIS)と呼ばれる2段階のアルゴリズムを提案する。 AutoFISは、目標モデルを収束させるためにトレーニングするのと同等の計算コストで、因子化モデルに対する重要な特徴的相互作用を自動的に識別することができる。 AutoFISはHuawei App Storeレコメンデーションサービスのトレーニングプラットフォームにデプロイされている。
  論文  参考訳（メタデータ） (2020-03-25T06:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。