論文の概要: External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation

• arxiv url: http://arxiv.org/abs/2502.17494v1
• Date: Thu, 20 Feb 2025 22:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:27.538124
• Title: External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
• Title（参考訳）: 外部大規模ファンデーションモデル:オンライン広告推薦のためのパラメータを効果的に解決する方法
• Authors: Mingfu Liang, Xi Liu, Rong Jin, Boyang Liu, Qiuling Suo, Qinghai Zhou, Song Zhou, Laming Chen, Hua Zheng, Zhiyuan Li, Shali Jiang, Jiyan Yang, Xiaozhen Xia, Fan Yang, Yasmine Badr, Ellie Wen, Shuyu Xu, Hansey Chen, Zhengyu Zhang, Jade Nie, Chunzhi Yang, Zhichen Zeng, Weilin Zhang, Xingliang Huang, Qianru Li, Shiquan Wang, Evelyn Lyu, Wenjing Lu, Rui Zhang, Wenjun Wang, Jason Rudy, Mengyue Hang, Kai Wang, Yinbin Ma, Shuaiwen Wang, Sihan Zeng, Tongyi Tang, Xiaohan Wei, Longhao Jin, Jamey Zhang, Marcus Chen, Jiayi Zhang, Angie Huang, Chi Zhang, Zhengli Zhao, Jared Yang, Qiang Jin, Xian Chen, Amit Anand Amlesahwaram, Lexi Song, Liang Luo, Yuchen Hao, Nan Xiao, Yavuz Yetim, Luoshang Pan, Gaoxiang Liu, Yuxi Hu, Yuzhen Huang, Jackie Xu, Rich Zhu, Xin Zhang, Yiqun Liu, Hang Yin, Yuxin Chen, Buyun Zhang, Xiaoyi Liu, Sylvia Wang, Wenguang Mao, Zhijing Li, Qin Huang, Chonglin Sun, Shupin Mao, Jingzheng Qin, Peggy Yao, Jae-Woo Choi, Bin Gao, Ernest Wang, Lei Zhang, Wen-Yen Chen, Ted Lee, Jay Zha, Yi Meng, Alex Gong, Edison Gao, Alireza Vahdatpour, Yiping Han, Yantao Yao, Toshinari Kureha, Shuo Chang, Musharaf Sultan, John Bocharov, Sagar Chordia, Xiaorui Gan, Peng Sun, Rocky Liu, Bo Long, Wenlin Chen, Santanu Kolay, Huayu Li,
• Abstract要約: 広告推薦はオンライン広告システムの顕著なサービスであり、積極的に研究されている。 近年の研究では、レコメンデーションモデルのスケールアップと高度な設計が、大幅な性能向上をもたらすことが示されている。 しかし、モデルスケールが大きくなるにつれて、従来の研究は産業規模での2つの基本的な課題を無視することが多いため、産業とのギャップが著しく増大する。
• 参考スコア（独自算出の注目度）: 60.884351884346295
• License:
• Abstract: Ads recommendation is a prominent service of online advertising systems and has been actively studied. Recent studies indicate that scaling-up and advanced design of the recommendation model can bring significant performance improvement. However, with a larger model scale, such prior studies have a significantly increasing gap from industry as they often neglect two fundamental challenges in industrial-scale applications. First, training and inference budgets are restricted for the model to be served, exceeding which may incur latency and impair user experience. Second, large-volume data arrive in a streaming mode with data distributions dynamically shifting, as new users/ads join and existing users/ads leave the system. We propose the External Large Foundation Model (ExFM) framework to address the overlooked challenges. Specifically, we develop external distillation and a data augmentation system (DAS) to control the computational cost of training/inference while maintaining high performance. We design the teacher in a way like a foundation model (FM) that can serve multiple students as vertical models (VMs) to amortize its building cost. We propose Auxiliary Head and Student Adapter to mitigate the data distribution gap between FM and VMs caused by the streaming data issue. Comprehensive experiments on internal industrial-scale applications and public datasets demonstrate significant performance gain by ExFM.
• Abstract（参考訳）: 広告推薦はオンライン広告システムの顕著なサービスであり、積極的に研究されている。 近年の研究では、レコメンデーションモデルのスケールアップと高度な設計が、大幅な性能向上をもたらすことが示されている。 しかし、モデルスケールが大きくなるにつれて、従来の研究は産業規模での2つの基本的な課題を無視することが多いため、産業とのギャップが著しく増大する。 まず、トレーニングと推論の予算が提供されるモデルに制限され、レイテンシやユーザエクスペリエンスの障害が発生する可能性がある。 第2に、新たなユーザ/アドが参加し、既存のユーザ/アドがシステムを離れるにつれて、データ分散が動的にシフトするストリーミングモードに大量のデータが到着する。 本稿では,見過ごされた課題に対処するため,External Large Foundation Model (ExFM) フレームワークを提案する。 具体的には、高い性能を維持しつつ、トレーニング/推論の計算コストを制御するための外部蒸留とデータ拡張システム(DAS)を開発する。 教師は、複数の学生を垂直モデル(VM)として機能させ、建設コストを抑える基礎モデル(FM)のように設計する。 本稿では,ストリーミングデータ問題に起因するFMとVM間のデータ分散ギャップを軽減するために,Auxiliary Head and Student Adapterを提案する。 内部産業規模のアプリケーションと公開データセットに関する総合的な実験は、ExFMによる大幅なパフォーマンス向上を示している。

関連論文リスト

• A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems [19.0143243243314]
  産業広告ランキングシステムは従来、ラベル付きインプレッションデータに依存しており、過度な適合、モデルのスケーリングによる漸進的な増加、トレーニングとサービスデータの相違によるバイアスといった課題につながっている。 広告ランク付けのための知識・蒸留・半教師付き学習(UK)のための統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-05T23:14:07Z)
• AdaF^2M^2: Comprehensive Learning and Responsive Leveraging Features in Recommendation System [16.364341783911414]
  本稿では,モデルに依存しないフレームワークであるAdaF2M2を提案する。 AdaF2M2でベースモデルを固定することにより、複数のレコメンデーションシナリオでオンラインA/Bテストを行い、ユーザアクティブ日とアプリ期間で+1.37%、+1.89%の累積的な改善を実現した。
  論文  参考訳（メタデータ） (2025-01-27T06:49:27Z)
• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• OReole-FM: successes and challenges toward billion-parameter foundation models for high-resolution satellite imagery [0.3926357402982764]
  数十億のパラメータにモデルをスケールすることは、創発的能力を含む前例のない利益をもたらすことが示されている。 我々は、Frontierスーパーコンピュータ、アメリカ初のエクサスケールシステム、および10億スケールのFMを事前トレーニングするために高解像度の光学RSデータを含む高性能コンピューティングリソースをペアリングする。
  論文  参考訳（メタデータ） (2024-10-25T20:55:12Z)
• Synergizing Foundation Models and Federated Learning: A Survey [23.416321895575507]
  本稿では,フェデレートラーニング(FL)とファンデーションモデル(FM)の融合の可能性と課題について論じる。 FLは、さまざまな参加者からのデータ可用性の障壁を破る、共同学習パラダイムである。 プライバシを保護しながら、分散データセットを使用して、幅広いドメイン固有のタスクにFMをカスタマイズし、適応する有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-06-18T17:58:09Z)
• Pretraining Billion-scale Geospatial Foundational Models on Frontier [0.16492989697868893]
  ファンデーションモデル(FM)は、自己教師付き学習を通じて、インターネットスケールの未ラベルデータで訓練される。 本研究では,空間的応用のための10億規模のFMとHPCトレーニングプロファイルを,公開データの事前学習により検討する。 我々のより大きな3Bパラメータサイズモデルでは、トップ1シーンの分類精度が最大30%向上する。
  論文  参考訳（メタデータ） (2024-04-17T19:16:32Z)
• Learning from models beyond fine-tuning [78.20895343699658]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Directed Acyclic Graph Factorization Machines for CTR Prediction via Knowledge Distillation [65.62538699160085]
  本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。 KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-11-21T03:09:42Z)
• VFed-SSD: Towards Practical Vertical Federated Advertising [53.08038962443853]
  本稿では,2つの制限を緩和する半教師付き分割蒸留フレームワーク VFed-SSD を提案する。 具体的には,垂直分割された未ラベルデータを利用する自己教師型タスクMatchedPair Detection (MPD) を開発する。 当社のフレームワークは,デプロイコストの最小化と大幅なパフォーマンス向上を図った,リアルタイム表示広告のための効率的なフェデレーション強化ソリューションを提供する。
  論文  参考訳（メタデータ） (2022-05-31T17:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。