論文の概要: Mitigating Divergence of Latent Factors via Dual Ascent for Low Latency Event Prediction Models

• arxiv url: http://arxiv.org/abs/2111.07866v1
• Date: Mon, 15 Nov 2021 16:09:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 21:02:42.240819
• Title: Mitigating Divergence of Latent Factors via Dual Ascent for Low Latency Event Prediction Models
• Title（参考訳）: 低レイテンシ事象予測モデルのための二重上昇による潜在因子の拡散緩和
• Authors: Alex Shtoff, Yair Koren
• Abstract要約: 現実世界のコンテンツレコメンデーションマーケットプレースは、特定の振る舞いを示し、一般的な静的なオフラインデータセットでは必ずしも明らかでない制約によって課される。 本稿では,モデルの潜在ベクトルに対して,慎重に選択された制約セットを付与することにより,モデルパラメータのばらつきを防止する体系的手法を提案する。 我々は,分散インスタンス数の大幅な削減と,ユーザエクスペリエンスと収益の両面で大きな改善を示すオンライン実験を実施している。
• 参考スコア（独自算出の注目度）: 0.739706777911384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world content recommendation marketplaces exhibit certain behaviors and are imposed by constraints that are not always apparent in common static offline data sets. One example that is common in ad marketplaces is swift ad turnover. New ads are introduced and old ads disappear at high rates every day. Another example is ad discontinuity, where existing ads may appear and disappear from the market for non negligible amounts of time due to a variety of reasons (e.g., depletion of budget, pausing by the advertiser, flagging by the system, and more). These behaviors sometimes cause the model's loss surface to change dramatically over short periods of time. To address these behaviors, fresh models are highly important, and to achieve this (and for several other reasons) incremental training on small chunks of past events is often employed. These behaviors and algorithmic optimizations occasionally cause model parameters to grow uncontrollably large, or \emph{diverge}. In this work present a systematic method to prevent model parameters from diverging by imposing a carefully chosen set of constraints on the model's latent vectors. We then devise a method inspired by primal-dual optimization algorithms to fulfill these constraints in a manner which both aligns well with incremental model training, and does not require any major modifications to the underlying model training algorithm. We analyze, demonstrate, and motivate our method on OFFSET, a collaborative filtering algorithm which drives Yahoo native advertising, which is one of VZM's largest and faster growing businesses, reaching a run-rate of many hundreds of millions USD per year. Finally, we conduct an online experiment which shows a substantial reduction in the number of diverging instances, and a significant improvement to both user experience and revenue.
• Abstract（参考訳）: 現実世界のコンテンツレコメンデーションマーケットプレイスは、特定の振る舞いを示し、一般的な静的オフラインデータセットでは必ずしも明らかでない制約によって課される。 広告マーケットプレースで一般的な例として、swift ad turnoverがある。 新しい広告が導入され、古い広告は毎日高いレートで消える。 別の例として広告不連続(ad discontinuity)があり、様々な理由(例えば、予算の枯渇、広告主による手入れ、システムによるフラグ付けなど)により、既存の広告が市場から無意味な時間だけ姿を消す可能性がある。 これらの挙動は、短時間でモデル損失面が劇的に変化することがある。 これらの行動に対処するために、新鮮なモデルは極めて重要であり、これを達成するために(そして他のいくつかの理由により)、過去のイベントの小さなチャンクでインクリメンタルなトレーニングがしばしば用いられる。 これらの挙動とアルゴリズムの最適化は、しばしばモデルパラメータを制御不能に大きく成長させる。 本研究では,モデルの潜在ベクトルに注意深く選択された制約セットを課すことで,モデルパラメータの発散を防止する体系的手法を提案する。 次に,これらの制約を満たすために,素因果的最適化アルゴリズムに触発された手法を,漸進的モデルトレーニングに適合し,基礎となるモデルトレーニングアルゴリズムに大きな修正を必要としない方法で考案する。 我々は、VZMの最大かつ急速に成長するビジネスの一つであるYahooネイティブ広告を駆動する協調フィルタリングアルゴリズムであるOFFSETを分析、実証、モチベーションし、年間数億ドルのランレートに達する。 最後に,分散インスタンス数を大幅に削減し,ユーザエクスペリエンスと収益の両方において大幅な改善を示すオンライン実験を行った。

関連論文リスト

• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Improved Bayes Risk Can Yield Reduced Social Welfare Under Competition [99.7047087527422]
  本研究は,機械学習のスケーリングトレンドの振る舞いを根本的に変化させることを実証する。 データ表現品質の改善により、ユーザ間での全体的な予測精度が低下する、多くの設定が見つかる。 概念レベルでは,各モデルプロジェクタのスケーリング傾向が,社会福祉の下流改善に寄与する必要はないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-26T13:06:34Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• SwiftPruner: Reinforced Evolutionary Pruning for Efficient Ad Relevance [19.930169700686672]
  本研究の目的は、構造化プルーニングによる新しい低レイテンシBERTの設計であり、CPUプラットフォーム上でのコールドスタート広告関連性に対するリアルタイムオンライン推論を強化することである。 本稿では,SwiftPrunerを提案する。SwiftPrunerは,進化に基づく探索を利用して,最も優れた層ワイドなBERTモデルを自動的に見つけるための効率的なフレームワークである。
  論文  参考訳（メタデータ） (2022-08-30T03:05:56Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• Dynamic Dual-Output Diffusion Models [100.32273175423146]
  反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。 この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。 近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
  論文  参考訳（メタデータ） (2022-03-08T11:20:40Z)
• Challenges and approaches to privacy preserving post-click conversion prediction [3.4071263815701336]
  この環境で変換モデルを学ぶ際の課題と制約について概説する。 本稿では,ポストグレード信号を利用したモデル学習手法を提案する。 実世界のデータに対してオフライン実験を用いることで、オプトインデータのみに依存するモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T21:36:01Z)
• Mitigating Temporal-Drift: A Simple Approach to Keep NER Models Crisp [16.960138447997007]
  名前付きエンティティ認識のためのニューラルモデルのパフォーマンスは時間とともに劣化し、停滞する。 我々は,ツイートの傾向を直感的に測定する手法を提案し,この指標を用いて,学習に使用する最も有意義なインスタンスを選択する。 提案手法は,代替データよりも少ないトレーニングデータで予測精度が向上し,魅力的な実用的なソリューションとなることを示す。
  論文  参考訳（メタデータ） (2021-04-20T03:35:25Z)
• Generating multi-type sequences of temporal events to improve fraud detection in game advertising [0.0]
  本稿では,SeqGAN (Sequence Generative Adversarial Generative) の修正版と組み合わせた Time-LSTM 細胞を用いて人工配列を生成することを提案する。 GAN生成シーケンスは、イベントベースの不正検出の分類能力を高めるために使用できる。
  論文  参考訳（メタデータ） (2021-04-07T23:19:13Z)
• Deep Bayesian Bandits: Exploring in Online Personalized Recommendations [4.845576821204241]
  我々は、表示広告レコメンデータを文脈的盗賊として定式化する。 クリックスルーレートの後部分布からのサンプリングを必要とする探索手法を実装した。 提案したディープベイズ帯域幅アルゴリズムをオフラインシミュレーションとオンラインAB設定で検証した。
  論文  参考訳（メタデータ） (2020-08-03T08:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。