論文の概要: Enhancing Scalability in Recommender Systems through Lottery Ticket Hypothesis and Knowledge Distillation-based Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2401.10484v1
• Date: Fri, 19 Jan 2024 04:17:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 16:55:24.914079
• Title: Enhancing Scalability in Recommender Systems through Lottery Ticket Hypothesis and Knowledge Distillation-based Neural Network Pruning
• Title（参考訳）: 抽選券仮説と知識蒸留型ニューラルネットワークプルーニングによるレコメンダシステムのスケーラビリティ向上
• Authors: Rajaram R, Manoj Bharadhwaj, Vasan VS and Nargis Pervin
• Abstract要約: 本研究では、ニューラルネットワークの効率的なプルーニングを目的とした革新的なアプローチを導入し、エッジデバイスへの展開に特に焦点をあてる。 本手法は,LTH(Lottery Ticket hypothesis)とKD(Knowledge Distillation)フレームワークを統合することで,3つの異なるプルーニングモデルの定式化を実現する。 幸いなことに、我々のアプローチはGPU計算能力の最大66.67%を削減した。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study introduces an innovative approach aimed at the efficient pruning of neural networks, with a particular focus on their deployment on edge devices. Our method involves the integration of the Lottery Ticket Hypothesis (LTH) with the Knowledge Distillation (KD) framework, resulting in the formulation of three distinct pruning models. These models have been developed to address scalability issue in recommender systems, whereby the complexities of deep learning models have hindered their practical deployment. With judicious application of the pruning techniques, we effectively curtail the power consumption and model dimensions without compromising on accuracy. Empirical evaluation has been performed using two real world datasets from diverse domains against two baselines. Gratifyingly, our approaches yielded a GPU computation-power reduction of up to 66.67%. Notably, our study contributes to the field of recommendation system by pioneering the application of LTH and KD.
• Abstract（参考訳）: 本研究では,エッジデバイスへの展開を重視した,ニューラルネットワークの効率的なプルーニングを目的とした革新的なアプローチを提案する。 本手法は,LTH(Lottery Ticket hypothesis)とKD(Knowledge Distillation)フレームワークを統合することで,3つの異なるプルーニングモデルの定式化を実現する。 これらのモデルはレコメンデータシステムにおけるスケーラビリティの問題に対処するために開発されており、ディープラーニングモデルの複雑さが実際の展開を妨げる。 プルーニング手法を巧みに応用することにより, 精度を損なうことなく, 消費電力とモデル寸法を効果的に削減する。 多様なドメインの2つの実世界のデータセットを用いて、2つのベースラインに対して実証評価を行った。 幸いなことに、我々のアプローチはGPU計算能力の最大66.67%を削減した。 特に,本研究は,LTHとKDの応用を開拓し,レコメンデーションシステムの分野に貢献する。

関連論文リスト

• Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
  無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。 本稿では,これらの手法を組み合わせて最適化モデルを提案する。 実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-11T06:08:23Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Revisiting SVD to generate powerful Node Embeddings for Recommendation Systems [3.388509725285237]
  ユーザとアイテムの生成を埋め込むために,隣接行列の特異値分解(SVD)を再検討する。 これらの埋め込みの上に2層ニューラルネットワークを使用して、ユーザとイテムのペア間の関係を学習する。 GRLにおける高次学習の成功に触発されて,SVDの2ホップ隣人を含む手法の拡張を提案する。
  論文  参考訳（メタデータ） (2021-10-05T20:41:21Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Quadratic mutual information regularization in real-time deep CNN models [51.66271681532262]
  擬似相互情報による正規化手法を提案する。 種々の二項分類問題の実験を行い,提案モデルの有効性を示した。
  論文  参考訳（メタデータ） (2021-08-26T13:14:24Z)
• Be Your Own Best Competitor! Multi-Branched Adversarial Knowledge Transfer [15.499267533387039]
  提案手法は,高速な画像分類とエンコーダデコーダアーキテクチャの両方に特化しており,推論過程において余分な計算オーバーヘッドを発生させることなく,小型・コンパクトなモデルの性能を向上させる。 提案手法は, 従来の自己蒸留法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-10-09T11:57:45Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。