論文の概要: Beyond Self-Consistency: Loss-Balanced Perturbation-Based Regularization Improves Industrial-Scale Ads Ranking

• arxiv url: http://arxiv.org/abs/2502.18478v1
• Date: Wed, 05 Feb 2025 23:24:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 03:56:16.936255
• Title: Beyond Self-Consistency: Loss-Balanced Perturbation-Based Regularization Improves Industrial-Scale Ads Ranking
• Title（参考訳）: 自己整合性を超えて:ロスベース摂動に基づく正規化は産業規模の広告ランキングを改善する
• Authors: Ilqar Ramazanli, Hamid Eghbalzadeh, Xiaoyi Liu, Yang Wang, Jiaxiang Fu, Kaushik Rangadurai, Sem Park, Bo Long, Xue Feng,
• Abstract要約: 摂動に基づく正規化技術は、産業規模の大規模モデルにおける多くの課題に対処する。 我々は、潜在的にどんなディープラーニングモデルでも使用できるLSPR(Los-Balanced Small Perturbation Regularization)を提案する。 SCR(Self-Consistency Regularization approach)とLSPR(LSPR)の両方がスケーラブルで、広告配信システムを改善することができることを示した。
• 参考スコア（独自算出の注目度）: 17.264202675913012
• License:
• Abstract: Perturbation-based regularization techniques address many challenges in industrial-scale large models, particularly with sparse labels, and emphasize consistency and invariance for perturbation in model predictions. One of the popular regularization techniques has been various forms of self-consistency, which involve making small modifications to input data while preserving contextual information and enforcing similar predictions through auxiliary loss functions. In this work, we explore the first successful application of perturbation-based regularization algorithms in large-scale ads ranking models, and further propose a novel regularization algorithm, namely, Loss-Balanced Small Perturbation Regularization (LSPR) that can be used in potentially any deep learning model. We have successfully demonstrate that both Self-Consistency Regularization approaches (SCR) and LSPR are scalable and can improve ads delivery systems. By conducting industrial-scale experiments, and numerical analysis, we additionally show that our proposed LSPR, performs consistently better compared to SCR, across various groups and signal availability setups. Finally, we report a successful application of the proposed LSPR in a billion-scale industrial ranking system, which to the best of our knowledge, is the first of its kind, and it is specially designed to address the various scalability challenges (e.g, various surfaces, geological locations, clients and so on) as we will mention in this paper.
• Abstract（参考訳）: 摂動に基づく正則化技術は、特にスパースラベルを用いた産業規模の大規模モデルにおける多くの課題に対処し、モデル予測における摂動の一貫性と不変性を強調する。 一般的な正規化手法の1つは、コンテキスト情報を保持しながら入力データに小さな修正を加え、補助的損失関数を通して同様の予測を行う、様々な形式の自己整合性である。 本研究では,大規模な広告ランキングモデルにおける摂動型正規化アルゴリズムの初めての成功例について検討し,さらに,潜在的なディープラーニングモデルで使用可能な,ロスベース型小型摂動正規化(LSPR)という新たな正規化アルゴリズムを提案する。 SCR(Self-Consistency Regularization Approach)とLSPR(LSPR)の両方がスケーラブルで,広告配信システムの改善に成功している。 産業規模の実験と数値解析により,提案するLSPRは,SCRと比較して,様々なグループや信号の可利用性の設定において一貫した性能を示した。 最後に,提案するLSPRの10億ドル規模の産業ランキングシステムへの活用を成功させたことを報告し,本論文で述べるように,多種多様な拡張性(表面,地質学的位置,クライアントなど)の課題に対処するために特別に設計されている。

関連論文リスト

• A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems [19.0143243243314]
  産業広告ランキングシステムは従来、ラベル付きインプレッションデータに依存しており、過度な適合、モデルのスケーリングによる漸進的な増加、トレーニングとサービスデータの相違によるバイアスといった課題につながっている。 広告ランク付けのための知識・蒸留・半教師付き学習(UK)のための統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-05T23:14:07Z)
• S-LoRA: Scalable Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、逐次的なタスクに事前訓練されたモデルのパワーを活用するための有望なアプローチとして現れてきた。 本稿では,LRAパラメータの方向と大きさの学習を段階的に分離する,CL(特にクラスインクリメンタルラーニング)のためのスケーラブル低ランク適応(S-LoRA)手法を提案する。 我々の理論的および実証的な分析により、S-LoRAは重なり合う低損失領域に収束する低損失軌道を辿る傾向にあり、CLの安定性と塑性のトレードオフは良好であることが示された。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LLM4Rerank: LLM-based Auto-Reranking Framework for Recommendations [51.76373105981212]
  リグレードはレコメンデーションシステムにおいて重要な要素であり、レコメンデーションアルゴリズムの出力を精査する上で重要な役割を果たす。 そこで我々は,様々な格付け基準をシームレスに統合する包括的格付けフレームワークを提案する。 カスタマイズ可能な入力機構も統合されており、言語モデルのフォーカスを特定の再配置のニーズに合わせることができる。
  論文  参考訳（メタデータ） (2024-06-18T09:29:18Z)
• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning [1.0762853848552156]
  我々は60以上の異なる非政治エージェントを実装し、それぞれが最新の最先端アルゴリズムから確立された正規化技術を統合する。 これらのエージェントは,2つのシミュレーションベンチマークから,過大評価,過度適合,可塑性損失に関連するトレーニング指標を測定した。 ソフトアクター・クライブエージェントは、適切に正規化され、トレーニング体制内でより優れたパフォーマンスのポリシーを確実に見つける。
  論文  参考訳（メタデータ） (2024-03-01T13:25:10Z)
• Feature Space Renormalization for Semi-supervised Learning [11.83643978312292]
  半教師付き学習(SSL)は、非競合データを活用する強力な手法であることが証明されている。 本稿では,SSLのための機能空間再正規化(FSR)機構を提案する。 本手法は,標準SSLベンチマークの各種データセットにおいて,より優れた性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-11-07T15:07:02Z)
• Target-Aware Generative Augmentations for Single-Shot Adaptation [21.840653627684855]
  我々は、ソースドメインからターゲットドメインへのモデル適応のための新しいアプローチを提案する。 SiSTAは、単一ショットターゲットを用いてソースドメインから生成モデルを微調整し、その後、合成ターゲットデータをキュレートするための新しいサンプリング戦略を用いる。 顔検出や多クラス物体認識において,SiSTAは既存のベースラインよりも大幅に向上していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T17:46:26Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。