論文の概要: Scaling Laws for Online Advertisement Retrieval
- arxiv url: http://arxiv.org/abs/2411.13322v1
- Date: Wed, 20 Nov 2024 13:44:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-21 16:13:27.701019
- Title: Scaling Laws for Online Advertisement Retrieval
- Title（参考訳）: オンライン検索におけるスケーリング法則
- Authors: Yunli Wang, Zixuan Yang, Zhen Zhang, Zhiqiang Wang, Jian Yang, Shiyang Wen, Peng Jiang, Kun Gai,
- Abstract要約: スケーリング法則はニューラルネットワークモデルの顕著な特性であり、大きな言語モデルの開発を著しく推進している。
近年の研究では、スケーリング法則はNLPタスクやトランスフォーマーアーキテクチャに限らず、レコメンデーションなどの領域にも適用されることが示されている。
実験コストの低いオンライン広告検索シナリオにおいて,オンライン収益のスケーリング法則と機械コストを識別するための軽量なパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 27.347496563574268
- License:
- Abstract: The scaling law is a notable property of neural network models and has significantly propelled the development of large language models. Scaling laws hold great promise in guiding model design and resource allocation. Recent research increasingly shows that scaling laws are not limited to NLP tasks or Transformer architectures; they also apply to domains such as recommendation. However, there is still a lack of literature on scaling law research in online advertisement retrieval systems. This may be because 1) identifying the scaling law for resource cost and online revenue is often expensive in both time and training resources for large-scale industrial applications, and 2) varying settings for different systems prevent the scaling law from being applied across various scenarios. To address these issues, we propose a lightweight paradigm to identify the scaling law of online revenue and machine cost for a certain online advertisement retrieval scenario with a low experimental cost. Specifically, we focus on a sole factor (FLOPs) and propose an offline metric named R/R* that exhibits a high linear correlation with online revenue for retrieval models. We estimate the machine cost offline via a simulation algorithm. Thus, we can transform most online experiments into low-cost offline experiments. We conduct comprehensive experiments to verify the effectiveness of our proposed metric R/R* and to identify the scaling law in the online advertisement retrieval system of Kuaishou. With the scaling law, we demonstrate practical applications for ROI-constrained model designing and multi-scenario resource allocation in Kuaishou advertising system. To the best of our knowledge, this is the first work to study the scaling laws for online advertisement retrieval of real-world systems, showing great potential for scaling law in advertising system optimization.
- Abstract（参考訳）: スケーリング法則はニューラルネットワークモデルの顕著な特性であり、大きな言語モデルの開発を著しく推進している。
スケーリング法則は、モデル設計とリソース割り当てを導く上で非常に有望です。
近年の研究では、スケーリング法則はNLPタスクやトランスフォーマーアーキテクチャに限らず、レコメンデーションなどの領域にも適用されることが示されている。
しかし、オンライン広告検索システムにおける法律研究の規模拡大に関する文献がまだ乏しい。
これは
1資源コスト及びオンライン収益のスケーリングに関する法律の特定は、大規模産業用途の時間的・訓練的資源の双方において、しばしばコストがかかる。
2) 異なるシステムの様々な設定により,スケーリング法則が様々なシナリオに適用されるのを防ぐ。
これらの課題に対処するため、実験コストの低いオンライン広告検索シナリオにおいて、オンライン収益のスケーリング法則と機械コストを識別するための軽量なパラダイムを提案する。
具体的には、単一因子(FLOP)に着目し、検索モデルにおけるオンライン収益と高い線形相関を示すR/R*というオフラインメトリックを提案する。
シミュレーションアルゴリズムを用いて,マシンコストをオフラインで見積もる。
したがって、ほとんどのオンライン実験を低コストのオフライン実験に変換することができる。
提案手法の有効性を検証するための総合的な実験を行い,クアイショーのオンライン広告検索システムにおけるスケーリング法則を検証した。
スケーリング法則を用いて,クアイショー広告システムにおけるROI制約モデル設計とマルチシナリオリソースアロケーションの実践的応用を実証する。
我々の知る限り、これは現実世界のシステムのオンライン広告検索におけるスケーリング法則を研究する最初の試みであり、広告システムの最適化におけるスケーリング法則の大きな可能性を示している。
関連論文リスト
- Bayesian scaling laws for in-context learning [72.17734205418502]
In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。
我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
論文 参考訳（メタデータ） (2024-10-21T21:45:22Z) - Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。
データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
論文 参考訳（メタデータ） (2024-06-28T02:20:54Z) - Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。
微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。
本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-04T01:55:00Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。
トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。
NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文 参考訳（メタデータ） (2023-04-14T00:45:01Z) - Reproducible scaling laws for contrastive language-image learning [42.354402731615444]
コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。
私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。
OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
論文 参考訳（メタデータ） (2022-12-14T10:24:50Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z) - Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。
DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文 参考訳（メタデータ） (2022-10-26T10:09:14Z) - Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。
データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。
パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
論文 参考訳（メタデータ） (2022-08-17T19:13:17Z) - Beyond neural scaling laws: beating power law scaling via data pruning [37.804100045519846]
理論的には、電力法のスケーリングを超越して、指数的なスケーリングまで削減できる可能性も示しています。
よりシンプルで安価でスケーラブルな自己教師付きプルーニングメトリクスを開発し、最高の教師付き指標に匹敵するパフォーマンスを示す。
全体として、我々の研究は、優れたデータ処理メトリクスの発見が、ニューラルネットワークのスケーリング法則を大幅に改善する上で、実行可能な道筋となることを示唆している。
論文 参考訳（メタデータ） (2022-06-29T09:20:47Z) - Scaling Laws for Deep Learning [1.90365714903665]
この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。
まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。
そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
論文 参考訳（メタデータ） (2021-08-17T15:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。