論文の概要: WeiPS: a symmetric fusion model framework for large-scale online
learning
- arxiv url: http://arxiv.org/abs/2011.11983v1
- Date: Tue, 24 Nov 2020 09:25:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 13:45:16.607574
- Title: WeiPS: a symmetric fusion model framework for large-scale online
learning
- Title(参考訳): WeiPS:大規模オンライン学習のための対称融合モデルフレームワーク
- Authors: Xiang Yu, Fuping Chu, Junqi Wu, Bo Huang
- Abstract要約: モデルトレーニングとモデル推論を統合した、WeiPSと呼ばれる対称融合オンライン学習システムフレームワークを提案する。
具体的には、一貫性要件を満たすために、ストリーミング更新メカニズムによる第2レベルのモデルデプロイメントを実行する。
マルチレベルのフォールトトレランスとリアルタイムドミノ劣化を使用して高可用性要求を実現する。
- 参考スコア(独自算出の注目度): 6.88870384575896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recommendation system is an important commercial application of machine
learning, where billions of feed views in the information flow every day. In
reality, the interaction between user and item usually makes user's interest
changing over time, thus many companies (e.g. ByteDance, Baidu, Alibaba, and
Weibo) employ online learning as an effective way to quickly capture user
interests. However, hundreds of billions of model parameters present online
learning with challenges for real-time model deployment. Besides, model
stability is another key point for online learning. To this end, we design and
implement a symmetric fusion online learning system framework called WeiPS,
which integrates model training and model inference. Specifically, WeiPS
carries out second level model deployment by streaming update mechanism to
satisfy the consistency requirement. Moreover, it uses multi-level fault
tolerance and real-time domino degradation to achieve high availability
requirement.
- Abstract(参考訳): このレコメンデーションシステムは、毎日何十億というフィードビューが情報フローに含まれる機械学習の重要な商用アプリケーションである。
実際、ユーザーとアイテムのやりとりはユーザーの興味を時間とともに変化させるので、多くの企業(例えば、bytedance、baidu、alibaba、weibo)はオンライン学習をユーザーの興味を素早く捉える効果的な方法として採用している。
しかし、数十億のモデルパラメータがオンライン学習をもたらし、リアルタイムモデルデプロイメントの課題も抱えている。
さらに、モデルの安定性もオンライン学習の重要なポイントです。
この目的のために,モデルトレーニングとモデル推論を統合した対称型統合型オンライン学習システムフレームワークweipsを設計し,実装する。
具体的には、一貫性要件を満たすために、ストリーミング更新メカニズムによる第2レベルのモデルデプロイメントを実行する。
さらに,高可用性要求を実現するために,マルチレベル耐障害性とリアルタイムドミノ劣化を利用する。
関連論文リスト
- SELFI: Autonomous Self-Improvement with Reinforcement Learning for
Social Navigation [58.98433356015055]
体験と対話し、改善する自己改善ロボットは、ロボットシステムの現実的な展開の鍵となる。
本研究では,オンラインロボット体験を活用したオンライン学習手法であるSELFIを提案する。
本研究では, 衝突回避の観点からの改善と, より社会的に順応する行動について報告する。
論文 参考訳(メタデータ) (2024-03-01T21:27:03Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - OneNet: Enhancing Time Series Forecasting Models under Concept Drift by
Online Ensembling [65.93805881841119]
ドリフト問題に対処するため,textbfOnline textbfensembling textbfNetwork (OneNet)を提案する。
OneNet は State-Of-The-Art (SOTA) 法と比較してオンライン予測エラーを $mathbf50%$ 以上削減する。
論文 参考訳(メタデータ) (2023-09-22T06:59:14Z) - Heterogeneous Decentralized Machine Unlearning with Seed Model
Distillation [47.42071293545731]
情報セキュリティ法は、訓練された機械学習モデルによって忘れられる無条件の権利を持つユーザーを許した。
蒸留したシードモデルを用いて,すべてのクライアントに対して,消去可能なアンサンブルを構築する,HDUSと呼ばれる分散アンラーニングフレームワークを設計する。
論文 参考訳(メタデータ) (2023-08-25T09:42:54Z) - Online Matching: A Real-time Bandit System for Large-scale
Recommendations [23.954049092470548]
Online Matchingは、ユーザのアイテムに対する直接的なフィードバックをリアルタイムで学習する、スケーラブルなクローズドループバンディットシステムである。
Diag-LinUCBはLinUCBアルゴリズムの新たな拡張であり、スケーラブルでタイムリーな方法で帯域幅パラメータの分散更新を可能にする。
論文 参考訳(メタデータ) (2023-07-29T05:46:27Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Optimal Event Monitoring through Internet Mashup over Multivariate Time
Series [77.34726150561087]
このフレームワークは、モデル定義、クエリ、パラメータ学習、モデル評価、データ監視、決定レコメンデーション、Webポータルのサービスをサポートする。
さらに、MTSAデータモデルとクエリ言語を拡張して、学習、監視、レコメンデーションのサービスにおいて、この種の問題をサポートする。
論文 参考訳(メタデータ) (2022-10-18T16:56:17Z) - FedGEMS: Federated Learning of Larger Server Models via Selective
Knowledge Fusion [19.86388925556209]
フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。
本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
論文 参考訳(メタデータ) (2021-10-21T10:06:44Z) - Incremental Learning for Personalized Recommender Systems [8.020546404087922]
トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。
このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
論文 参考訳(メタデータ) (2021-08-13T04:21:21Z) - ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems [21.37434583546624]
本稿では,この問題を解決するために,ModelCI-e(継続的インテグレーションと進化)と呼ばれる軽量MLOpsプラグインを実装した。
ModelCI-eは継続学習(CL)とMLデプロイメント技術を採用し、モデルの更新と検証をエンドツーエンドでサポートする。
予備的な結果は、ModelCI-eのユーザビリティを示し、モデル更新と推論ワークロード間の干渉を取り除くことが、システム効率の向上に不可欠であることを示している。
論文 参考訳(メタデータ) (2021-06-06T13:28:51Z) - Lambda Learner: Fast Incremental Learning on Data Streams [5.543723668681475]
本稿では,データストリームからのミニバッチに対するインクリメンタル更新によるモデルトレーニングのための新しいフレームワークを提案する。
提案するフレームワークのモデルでは,オフラインデータに基づいてトレーニングされた周期的に更新されたモデルを推定し,モデル更新が時間に敏感な場合,性能が向上することを示す。
我々は、大規模ソーシャルネットワークのためのスポンサー付きコンテンツプラットフォームに大規模な展開を提示する。
論文 参考訳(メタデータ) (2020-10-11T04:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。