論文の概要: Lambda Learner: Fast Incremental Learning on Data Streams
- arxiv url: http://arxiv.org/abs/2010.05154v2
- Date: Mon, 28 Jun 2021 14:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 12:40:23.320651
- Title: Lambda Learner: Fast Incremental Learning on Data Streams
- Title(参考訳): Lambda Learner: データストリームでの高速なインクリメンタル学習
- Authors: Rohan Ramanath, Konstantin Salomatin, Jeffrey D. Gee, Kirill Talanine,
Onkar Dalal, Gungor Polatkan, Sara Smoot, Deepak Kumar
- Abstract要約: 本稿では,データストリームからのミニバッチに対するインクリメンタル更新によるモデルトレーニングのための新しいフレームワークを提案する。
提案するフレームワークのモデルでは,オフラインデータに基づいてトレーニングされた周期的に更新されたモデルを推定し,モデル更新が時間に敏感な場合,性能が向上することを示す。
我々は、大規模ソーシャルネットワークのためのスポンサー付きコンテンツプラットフォームに大規模な展開を提示する。
- 参考スコア(独自算出の注目度): 5.543723668681475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the most well-established applications of machine learning is in
deciding what content to show website visitors. When observation data comes
from high-velocity, user-generated data streams, machine learning methods
perform a balancing act between model complexity, training time, and
computational costs. Furthermore, when model freshness is critical, the
training of models becomes time-constrained. Parallelized batch offline
training, although horizontally scalable, is often not time-considerate or
cost-effective. In this paper, we propose Lambda Learner, a new framework for
training models by incremental updates in response to mini-batches from data
streams. We show that the resulting model of our framework closely estimates a
periodically updated model trained on offline data and outperforms it when
model updates are time-sensitive. We provide theoretical proof that the
incremental learning updates improve the loss-function over a stale batch
model. We present a large-scale deployment on the sponsored content platform
for a large social network, serving hundreds of millions of users across
different channels (e.g., desktop, mobile). We address challenges and
complexities from both algorithms and infrastructure perspectives, and
illustrate the system details for computation, storage, and streaming
production of training data.
- Abstract(参考訳): 機械学習の最も確立された応用の1つは、ウェブサイトの訪問者を示すコンテンツを決定することである。
高速度から観測データがやってくると、ユーザ生成データストリーム、機械学習メソッドがモデルの複雑さ、トレーニング時間、計算コストのバランスをとる。
さらに、モデル鮮度が重要となると、モデルのトレーニングは時間制約となる。
並列化されたバッチオフライントレーニングは水平にスケーラブルだが、しばしば時間やコスト効率が良くない。
本稿では,データストリームからのミニバッチに対するインクリメンタルアップデートによるモデルトレーニングのための新しいフレームワークであるLambda Learnerを提案する。
その結果,オフラインデータでトレーニングされたモデルが,モデル更新の時間に敏感な場合よりも精度が向上することを示す。
我々は,逐次学習の更新が定常バッチモデルよりも損失関数を改善することを理論的に証明する。
私たちは大規模なソーシャルネットワークのためのスポンサードコンテンツプラットフォームに大規模なデプロイを行い、異なるチャネル(デスクトップ、モバイルなど)にまたがる数億人のユーザに対応しています。
アルゴリズムとインフラストラクチャの観点からの課題と複雑さに対処し、トレーニングデータの計算、ストレージ、ストリーミング生産のためのシステムの詳細を説明します。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [86.9540615081759]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳(メタデータ) (2024-02-02T01:41:38Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - On the Costs and Benefits of Adopting Lifelong Learning for Software
Analytics -- Empirical Study on Brown Build and Risk Prediction [17.502553991799832]
本稿では,ユビソフトにおける産業用ユースケースにおける生涯学習(LL)の利用について検討する。
LLは、新しいデータを使用して古いモデルを段階的に更新するインクリメンタルラーナを使用して、MLベースのソフトウェア分析ツールを継続的に構築し、メンテナンスするために使用される。
論文 参考訳(メタデータ) (2023-05-16T21:57:16Z) - Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural
Networks [12.525959293825318]
我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。
LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。
トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
論文 参考訳(メタデータ) (2023-03-18T16:45:54Z) - Online Evolutionary Neural Architecture Search for Multivariate
Non-Stationary Time Series Forecasting [72.89994745876086]
本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。
ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。
その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-20T22:25:47Z) - Continual Learning with Transformers for Image Classification [12.028617058465333]
コンピュータビジョンでは、ニューラルネットワークモデルは、過去に何を学んだかを忘れずに、新しい概念を継続的に学習する。
本研究では,適応型適応器の蒸留法 (ADA) を開発した。
本手法は,モデルを再学習することなく,優れた予測性能を維持することを実証的に示す。
論文 参考訳(メタデータ) (2022-06-28T15:30:10Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Incremental Learning for Personalized Recommender Systems [8.020546404087922]
トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。
このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
論文 参考訳(メタデータ) (2021-08-13T04:21:21Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。