論文の概要: Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation
System with Non-Stationary Data
- arxiv url: http://arxiv.org/abs/2010.08655v2
- Date: Wed, 21 Oct 2020 04:01:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 21:42:15.379402
- Title: Adaptive Dense-to-Sparse Paradigm for Pruning Online Recommendation
System with Non-Stationary Data
- Title（参考訳）: 非定常データを用いたオンラインレコメンデーションシステムのための適応的疎密パラダイム
- Authors: Mao Ye, Dhruv Choudhary, Jiecao Yu, Ellie Wen, Zeliang Chen, Jiyan
Yang, Jongsoo Park, Qiang Liu, Arun Kejariwal
- Abstract要約: プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。
本研究では,非定常データ分散を伴う大規模レコメンデーションシステムにおいて,新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 13.080986170257782
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale deep learning provides a tremendous opportunity to improve the
quality of content recommendation systems by employing both wider and deeper
models, but this comes at great infrastructural cost and carbon footprint in
modern data centers. Pruning is an effective technique that reduces both memory
and compute demand for model inference. However, pruning for online
recommendation systems is challenging due to the continuous data distribution
shift (a.k.a non-stationary data). Although incremental training on the full
model is able to adapt to the non-stationary data, directly applying it on the
pruned model leads to accuracy loss. This is because the sparsity pattern after
pruning requires adjustment to learn new patterns. To the best of our
knowledge, this is the first work to provide in-depth analysis and discussion
of applying pruning to online recommendation systems with non-stationary data
distribution. Overall, this work makes the following contributions: 1) We
present an adaptive dense to sparse paradigm equipped with a novel pruning
algorithm for pruning a large scale recommendation system with non-stationary
data distribution; 2) We design the pruning algorithm to automatically learn
the sparsity across layers to avoid repeating hand-tuning, which is critical
for pruning the heterogeneous architectures of recommendation systems trained
with non-stationary data.
- Abstract（参考訳）: 大規模ディープラーニングは、より広いモデルとより深いモデルの両方を採用することによって、コンテンツレコメンデーションシステムの品質を改善するための大きな機会を提供する。
プルーニングは、モデル推論のメモリと計算要求の両方を削減する効果的な手法である。
しかし、オンラインレコメンデーションシステムのプルーニングは、連続的なデータ分散シフト(すなわち非定常データ)のために困難である。
モデル全体のインクリメンタルトレーニングは、非定常データに適応することができるが、刈り取られたモデルに直接適用すると、精度が低下する。
これは、刈り取り後のスパーシティパターンが新しいパターンを学ぶために調整を必要とするためである。
我々の知る限りでは、非定常データ配信を伴うオンラインレコメンデーションシステムにプルーニングを適用するための詳細な分析と議論を行うための最初の成果である。
全体として、この研究は以下の貢献をしている。
1)非定常データ分散を伴う大規模レコメンデーションシステムを構築するための新しいプルーニングアルゴリズムを備えた適応的高密度・スパースパラダイムを提案する。
2) 非定常データで訓練されたレコメンデーションシステムの異種アーキテクチャを抽出するためには,ハンドチューニングの繰り返しを避けるために,階層間の間隔を自動的に学習するプルーニングアルゴリズムを設計する。
関連論文リスト
- TCGU: Data-centric Graph Unlearning based on Transferable Condensation [36.670771080732486]
Transferable Condensation Graph Unlearning (TCGU)は、ゼロガンスグラフアンラーニングのためのデータ中心のソリューションである。
我々は,TGUが既存のGU手法よりもモデルユーティリティ,未学習効率,未学習効率において優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2024-10-09T02:14:40Z) - Differential Privacy Regularization: Protecting Training Data Through Loss Function Regularization [49.1574468325115]
ニューラルネットワークに基づく機械学習モデルのトレーニングには、機密情報を含む大きなデータセットが必要である。
差分的にプライベートなSGD [DP-SGD] は、新しいモデルをトレーニングするために標準勾配降下アルゴリズム(SGD)を変更する必要がある。
より効率的な方法で同じ目標を達成するための新しい正規化戦略が提案されている。
論文 参考訳（メタデータ） (2024-09-25T17:59:32Z) - DRoP: Distributionally Robust Pruning [11.930434318557156]
我々は、訓練されたモデルの分類バイアスにデータプルーニングが与える影響について、最初の系統的研究を行う。
そこで我々はDRoPを提案する。DRoPは,標準的なコンピュータビジョンベンチマークにおいて,その性能を実証的に実証し,分散的に頑健な手法である。
論文 参考訳（メタデータ） (2024-04-08T14:55:35Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - CLIP: Train Faster with Less Data [3.2575001434344286]
ディープラーニングモデルは、トレーニングに膨大な量のデータを必要とします。
近年、機械学習はモデル中心のアプローチからデータ中心のアプローチへとシフトしている。
CLIP(CLIP, Curriculum Learning with Iterative data Pruning)を提案する。
論文 参考訳（メタデータ） (2022-12-02T21:29:48Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳（メタデータ） (2022-10-31T09:46:26Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳（メタデータ） (2022-06-20T15:25:08Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳（メタデータ） (2021-11-26T11:58:51Z) - Incremental Learning for Personalized Recommender Systems [8.020546404087922]
トレーニング効率とモデル品質の両方を提供するために,インクリメンタルな学習ソリューションを提案する。
このソリューションはLinkedInにデプロイされ、産業規模のレコメンデーションシステムに直接適用される。
論文 参考訳（メタデータ） (2021-08-13T04:21:21Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。