論文の概要: Scaling Laws for Online Advertisement Retrieval
- arxiv url: http://arxiv.org/abs/2411.13322v2
- Date: Thu, 25 Sep 2025 14:19:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-26 14:16:55.677189
- Title: Scaling Laws for Online Advertisement Retrieval
- Title（参考訳）: オンライン検索におけるスケーリング法則
- Authors: Yunli Wang, Zhen Zhang, Zixuan Yang, Tianyu Xu, Zhiqiang Wang, Yu Li, Rufan Zhou, Zhiqiang Liu, Yanjie Zhu, Jian Yang, Shiyang Wen, Peng Jiang,
- Abstract要約: スケーリング法則はニューラルネットワークモデルの顕著な特性であり、大きな言語モデルの開発を著しく推進している。
最近の研究では、スケーリング法則はタスクやトランスフォーマーアーキテクチャに限らず、レコメンデーションのようなドメインにも適用されることがますます示されている。
本稿では,新しいオフラインメトリックとオフラインシミュレーションアルゴリズムを取り入れた検索モデルのオンラインスケーリング法則を同定するための軽量なパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 25.94972124598877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The scaling law is a notable property of neural network models and has significantly propelled the development of large language models. Scaling laws hold great promise in guiding model design and resource allocation. Recent research increasingly shows that scaling laws are not limited to NLP tasks or Transformer architectures; they also apply to domains such as recommendation. However, there is still a lack of literature on scaling law research in online advertisement retrieval systems. This may be because 1) identifying the scaling law for resource cost and online revenue is often expensive in both time and training resources for industrial applications, and 2) varying settings for different systems prevent the scaling law from being applied across various scenarios. To address these issues, we propose a lightweight paradigm to identify online scaling laws of retrieval models, incorporating a novel offline metric and an offline simulation algorithm. We prove that under mild assumptions, the correlation between the novel metric and online revenue asymptotically approaches 1 and empirically validates its effectiveness. The simulation algorithm can estimate the machine cost offline. Based on the lightweight paradigm, we can identify online scaling laws for retrieval models almost exclusively through offline experiments, and quickly estimate machine costs and revenues for given model configurations. We further validate the existence of scaling laws across mainstream model architectures (e.g., Transformer, MLP, and DSSM) in our real-world advertising system. With the identified scaling laws, we demonstrate practical applications for ROI-constrained model designing and multi-scenario resource allocation in the online advertising system. To the best of our knowledge, this is the first work to study identification and application of online scaling laws for online advertisement retrieval.
- Abstract（参考訳）: スケーリング法則はニューラルネットワークモデルの顕著な特性であり、大きな言語モデルの開発を著しく推進している。
スケーリング法則は、モデル設計とリソース割り当てを導く上で非常に有望です。
近年の研究では、スケーリング法則はNLPタスクやトランスフォーマーアーキテクチャに限らず、レコメンデーションなどの領域にも適用されることが示されている。
しかし、オンライン広告検索システムにおける法律研究の規模拡大に関する文献がまだ乏しい。
これは
1)資源コスト及びオンライン収益のスケーリング法を定めることは、産業用途の時間的・訓練的資源においてしばしば高価である。
2) 異なるシステムの様々な設定により,スケーリング法則が様々なシナリオに適用されるのを防ぐ。
これらの問題に対処するために,新しいオフラインメトリックとオフラインシミュレーションアルゴリズムを取り入れた,検索モデルのオンラインスケーリング法則を同定するための軽量なパラダイムを提案する。
軽微な仮定では,新たな指標とオンライン収益の相関が漸近的に1に近づき,その効果を実証的に検証する。
シミュレーションアルゴリズムは、マシンコストをオフラインで見積もることができる。
軽量なパラダイムに基づいて、オフライン実験を通じて、検索モデルのオンラインスケーリング法則をほぼ独占的に特定し、与えられたモデル構成に対するマシンコストと収益を素早く見積もることができる。
我々は,現実の広告システムにおける主流モデルアーキテクチャ(Transformer, MLP, DSSM)のスケーリング法則の存在を検証した。
特定スケーリング法則を用いて、オンライン広告システムにおけるROI制約モデル設計とマルチシナリオリソース割り当ての実践的応用を実証する。
我々の知る限りでは、オンライン広告検索におけるオンラインスケーリング法則の識別と適用について研究するのはこれが初めてである。
関連論文リスト
- Predictable Scale: Part II, Farseer: A Refined Scaling Law in Large Language Models [62.3458061002951]
本稿では,新たなスケール法であるFarseerを紹介した。
モデル損失曲面 $L(N,D)$ を体系的に構築することにより、Farseer は以前の法則よりも経験的データに非常によく適合する。
我々の手法は正確で頑健で、非常に一般化可能な予測をもたらし、優れた外挿能力を示す。
論文 参考訳（メタデータ） (2025-06-12T17:59:23Z) - Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。
既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。
本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
論文 参考訳（メタデータ） (2025-05-29T03:19:17Z) - Scaling Law Phenomena Across Regression Paradigms: Multiple and Kernel Approaches [28.569601803576845]
トランスフォーマーアーキテクチャを持つモデルの場合、テスト損失はモデルサイズ、データセットサイズ、トレーニングで使用される計算量と強力な関係を示す。
我々の分析はスケーリング法則に関する深い洞察を与え、大きな言語モデルに対する理解を深める可能性がある。
論文 参考訳（メタデータ） (2025-03-03T08:57:49Z) - Gemstones: A Model Suite for Multi-Faceted Scaling Laws [67.46133952358785]
Gemstonesは、これまでで最も包括的なオープンソースのスケーリング法データセットです。
これらのモデルは、異なる学習率、スケジュール、アーキテクチャ形状で訓練されている。
私たちのチェックポイントは、モデルの幅と深さの関数として言語の性能を予測する法則のような、より複雑なスケーリング研究を可能にします。
論文 参考訳（メタデータ） (2025-02-07T18:09:38Z) - ScaMo: Exploring the Scaling Law in Autoregressive Motion Generation Model [27.532993606576152]
本稿では,モーショントークン機構であるMotionQ-VAEと,テキストFS-VAE変換器を備えるスケーラブルなモーション生成フレームワークを提案する。
運動生成の文脈におけるスケーリング法則の存在を初めて確認する。
計算予算が1e18$である場合、最適なトランスフォーマーサイズ、語彙サイズ、およびデータ要求を予測する。
論文 参考訳（メタデータ） (2024-12-19T06:22:19Z) - ScalingNote: Scaling up Retrievers with Large Language Models for Real-World Dense Retrieval [72.2676180980573]
大規模言語モデル(LLM)は、高密度検索のスケールアップに活用できる優れた性能を示した。
オンラインクエリ待ち時間を維持しながら、検索にLLMのスケーリング可能性を利用する2段階のScalingNoteを提案する。
両段階のスケーリング手法はエンド・ツー・エンドのモデルより優れており,産業シナリオにおけるLLMを用いた高密度検索のスケーリング法則を検証している。
論文 参考訳（メタデータ） (2024-11-24T09:27:43Z) - Bayesian scaling laws for in-context learning [72.17734205418502]
In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。
我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
論文 参考訳（メタデータ） (2024-10-21T21:45:22Z) - Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。
データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
論文 参考訳（メタデータ） (2024-06-28T02:20:54Z) - Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。
微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。
本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-04T01:55:00Z) - nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。
トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。
NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文 参考訳（メタデータ） (2023-04-14T00:45:01Z) - Reproducible scaling laws for contrastive language-image learning [42.354402731615444]
コントラッシブ言語イメージ事前学習(CLIP)のスケーリング法を,パブリックLAIONデータセットとオープンソースOpenCLIPリポジトリを用いて検討する。
私たちの大規模な実験には、最大20億のイメージテキストペアでトレーニングされたモデルと、複数の下流タスクに対する電力法スケーリングの特定が含まれています。
OpenAIモデルとOpenCLIPモデルは、同一のモデルアーキテクチャにもかかわらず、異なるスケーリング挙動を示すため、トレーニング分布がスケーリング法則において重要な役割を果たすことがわかった。
論文 参考訳（メタデータ） (2022-12-14T10:24:50Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z) - Scaling Laws Beyond Backpropagation [64.0476282000118]
因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。
DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
論文 参考訳（メタデータ） (2022-10-26T10:09:14Z) - Understanding Scaling Laws for Recommendation Models [1.6283945233720964]
DLRMスタイルレコメンデーションモデル,特にClick-Through Rate(CTR)の実証スケーリング法則について検討する。
データ、パラメータ、計算の3つの異なるリソース次元に沿ってスケーリング効率を特徴付ける。
パラメータスケーリングは、現在研究中のモデルアーキテクチャにとって絶大であり、より高いパフォーマンスのモデルアーキテクチャが出現するまでは、データスケーリングが先進的な道であることを示す。
論文 参考訳（メタデータ） (2022-08-17T19:13:17Z) - Beyond neural scaling laws: beating power law scaling via data pruning [37.804100045519846]
理論的には、電力法のスケーリングを超越して、指数的なスケーリングまで削減できる可能性も示しています。
よりシンプルで安価でスケーラブルな自己教師付きプルーニングメトリクスを開発し、最高の教師付き指標に匹敵するパフォーマンスを示す。
全体として、我々の研究は、優れたデータ処理メトリクスの発見が、ニューラルネットワークのスケーリング法則を大幅に改善する上で、実行可能な道筋となることを示唆している。
論文 参考訳（メタデータ） (2022-06-29T09:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。