論文の概要: A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
- arxiv url: http://arxiv.org/abs/2502.06834v1
- Date: Wed, 05 Feb 2025 23:14:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:09:39.167917
- Title: A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems
- Title（参考訳）: 産業用広告配信システム改善のための知識蒸留と半監督学習フレームワーク
- Authors: Hamid Eghbalzadeh, Yang Wang, Rui Li, Yuji Mo, Qin Ding, Jiaxiang Fu, Liang Dai, Shuo Gu, Nima Noorshams, Sem Park, Bo Long, Xue Feng,
- Abstract要約: 産業広告ランキングシステムは従来、ラベル付きインプレッションデータに依存しており、過度な適合、モデルのスケーリングによる漸進的な増加、トレーニングとサービスデータの相違によるバイアスといった課題につながっている。
広告ランク付けのための知識・蒸留・半教師付き学習(UK)のための統一フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 19.0143243243314
- License:
- Abstract: Industrial ads ranking systems conventionally rely on labeled impression data, which leads to challenges such as overfitting, slower incremental gain from model scaling, and biases due to discrepancies between training and serving data. To overcome these issues, we propose a Unified framework for Knowledge-Distillation and Semi-supervised Learning (UKDSL) for ads ranking, empowering the training of models on a significantly larger and more diverse datasets, thereby reducing overfitting and mitigating training-serving data discrepancies. We provide detailed formal analysis and numerical simulations on the inherent miscalibration and prediction bias of multi-stage ranking systems, and show empirical evidence of the proposed framework's capability to mitigate those. Compared to prior work, UKDSL can enable models to learn from a much larger set of unlabeled data, hence, improving the performance while being computationally efficient. Finally, we report the successful deployment of UKDSL in an industrial setting across various ranking models, serving users at multi-billion scale, across various surfaces, geological locations, clients, and optimize for various events, which to the best of our knowledge is the first of its kind in terms of the scale and efficiency at which it operates.
- Abstract（参考訳）: 産業広告ランキングシステムは従来、ラベル付きインプレッションデータに依存しており、過度な適合、モデルのスケーリングによる漸進的な増加、トレーニングとサービスデータの相違によるバイアスといった課題につながっている。
これらの課題を克服するため、広告ランク付けのための知識・蒸留・半教師付き学習のための統一フレームワーク(UKDSL)を提案する。
本稿では,多段階ランキングシステムの本質的誤校正と予測バイアスに関する詳細な形式解析と数値シミュレーションを行い,これらを緩和する枠組みの実証的証拠を示す。
従来の作業と比較すると、UKDSLは、より大きなラベル付きデータの集合からモデルを学習することができるため、計算効率が向上し、性能が向上する。
最後に,UKDSLの産業環境での展開を成功させたことを報告し,様々な表面,地質学的位置,クライアント,各種イベントに対する最適化など,複数ビリオン規模のユーザに提供する。
関連論文リスト
- A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。
本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。
事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
論文 参考訳（メタデータ） (2024-04-01T00:21:11Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Confidence Ranking for CTR Prediction [11.071444869776725]
本稿では,最適化目標をランキング関数として設計する,信頼ランキングという新しいフレームワークを提案する。
本実験により、信頼度ランキング損失の導入は、公共および産業データセットのCTR予測タスクにおいて、すべてのベースラインを上回り得ることが示された。
このフレームワークは、JD.comの広告システムに展開され、ファインランクの段階で主要なトラフィックをサービスしている。
論文 参考訳（メタデータ） (2023-06-28T07:31:00Z) - Improving Sample Efficiency of Deep Learning Models in Electricity
Market [0.41998444721319217]
我々は,サンプルの効率を向上させるため,知識強化トレーニング(KAT)という一般的なフレームワークを提案する。
本稿では,いくつかの合成データを生成する新しいデータ拡張手法を提案する。
現代の学習理論は, 効果的な予測誤差フィードバック, 信頼損失関数, リッチ勾配雑音の観点から, 提案手法の有効性を実証している。
論文 参考訳（メタデータ） (2022-10-11T16:35:13Z) - Federated Pruning: Improving Neural Network Efficiency with Federated
Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。
異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文 参考訳（メタデータ） (2022-09-14T00:48:37Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - ASE: Anomaly Scoring Based Ensemble Learning for Imbalanced Datasets [3.214208422566496]
そこで我々は,異常検出スコアリングシステムに基づくバギングアンサンブル学習フレームワークを考案した。
我々のアンサンブル学習モデルは,ベース推定器の性能を劇的に向上させることができる。
論文 参考訳（メタデータ） (2022-03-21T07:20:41Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。