論文の概要: Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation
System with Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2010.08655v2
- Date: Wed, 21 Oct 2020 04:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 21:42:15.379402
- Title: Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation
System with Non-Stationary Data
- Title(参考訳): 非定常データを用いたオンラインレコメンデーションシステムのための適応的疎密パラダイム
- Authors: Mao Ye, Dhruv Choudhary, Jiecao Yu, Ellie Wen, Zeliang Chen, Jiyan
Yang, Jongsoo Park, Qiang Liu, Arun Kejariwal
- Abstract要約: プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。
本研究では,非定常データ分散を伴う大規模レコメンデーションシステムにおいて,新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
- 参考スコア(独自算出の注目度): 13.080986170257782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale deep learning provides a tremendous opportunity to improve the
quality of content recommendation systems by employing both wider and deeper
models, but this comes at great infrastructural cost and carbon footprint in
modern data centers. Pruning is an effective technique that reduces both memory
and compute demand for model inference. However, pruning for online
recommendation systems is challenging due to the continuous data distribution
shift (a.k.a non-stationary data). Although incremental training on the full
model is able to adapt to the non-stationary data, directly applying it on the
pruned model leads to accuracy loss. This is because the sparsity pattern after
pruning requires adjustment to learn new patterns. To the best of our
knowledge, this is the first work to provide in-depth analysis and discussion
of applying pruning to online recommendation systems with non-stationary data
distribution. Overall, this work makes the following contributions: 1) We
present an adaptive dense to sparse paradigm equipped with a novel pruning
algorithm for pruning a large scale recommendation system with non-stationary
data distribution; 2) We design the pruning algorithm to automatically learn
the sparsity across layers to avoid repeating hand-tuning, which is critical
for pruning the heterogeneous architectures of recommendation systems trained
with non-stationary data.
- Abstract(参考訳): 大規模ディープラーニングは、より広いモデルとより深いモデルの両方を採用することによって、コンテンツレコメンデーションシステムの品質を改善するための大きな機会を提供する。
プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。
しかし、オンラインレコメンデーションシステムのプルーニングは、連続的なデータ分散シフト(すなわち非定常データ)のために困難である。
モデル全体のインクリメンタルトレーニングは、非定常データに適応することができるが、刈り取られたモデルに直接適用すると、精度が低下する。
これは、刈り取り後のスパーシティパターンが新しいパターンを学ぶために調整を必要とするためである。
我々の知る限りでは、非定常データ配信を伴うオンラインレコメンデーションシステムにプルーニングを適用するための詳細な分析と議論を行うための最初の成果である。
全体として、この研究は以下の貢献をしている。
1)非定常データ分散を伴う大規模レコメンデーションシステムを構築するための新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
2) 非定常データで訓練されたレコメンデーションシステムの異種アーキテクチャを抽出するためには,ハンドチューニングの繰り返しを避けるために,階層間の間隔を自動的に学習するプルーニングアルゴリズムを設計する。
関連論文リスト
- Clarify: Improving Model Robustness With Natural Language Corrections [63.342630414000006]
教師付き学習では、モデルは静的データセットから相関を抽出するために訓練される。
これはしばしば、高レベルの誤解に依存するモデルにつながる。
モデル誤解をインタラクティブに修正する新しいインターフェースと方法であるClarifyを紹介した。
論文 参考訳(メタデータ) (2024-02-06T05:11:38Z) - Not All Data Matters: An End-to-End Adaptive Dataset Pruning Framework
for Enhancing Model Performance and Efficiency [9.460023981858319]
本稿では,AdaPruner と呼ばれる適応型 DAtaset PRUNing フレームワークを提案する。
AdaPrunerは、冗長なサンプルを期待プルーニング比率に反復的にプルークする。
トレーニングデータの最大10~30%をプルーニングしても、モデルパフォーマンスを著しく向上させることができる。
論文 参考訳(メタデータ) (2023-12-09T16:01:21Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - CLIP: Train Faster with Less Data [3.2575001434344286]
ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。
近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。
CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
論文 参考訳(メタデータ) (2022-12-02T21:29:48Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳(メタデータ) (2022-10-31T09:46:26Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Incremental Learning for Personalized Recommender Systems [8.020546404087922]
トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。
このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
論文 参考訳(メタデータ) (2021-08-13T04:21:21Z) - Alternate Model Growth and Pruning for Efficient Training of
Recommendation Systems [7.415129876303651]
モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。
ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。
トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
論文 参考訳(メタデータ) (2021-05-04T03:14:30Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。