論文の概要: LNPT: Label-free Network Pruning and Training

• arxiv url: http://arxiv.org/abs/2403.12690v2
• Date: Wed, 20 Mar 2024 11:06:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 13:39:48.331189
• Title: LNPT: Label-free Network Pruning and Training
• Title（参考訳）: LNPT:ラベルなしネットワーク・プルーニングとトレーニング
• Authors: Jinying Xiao, Ping Li, Zhe Tang, Jie Nie,
• Abstract要約: トレーニング前のプルーニングは、ニューラルネットワークをスマートデバイスにデプロイすることを可能にする。 我々は,クラウド上の成熟したネットワークが,ラベルのないデータを持つスマートデバイス上でのネットワークプルーニングと学習のオンラインガイダンスを提供するための,新しい学習フレームワーク LNPT を提案する。
• 参考スコア（独自算出の注目度）: 18.535687216213624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning before training enables the deployment of neural networks on smart devices. By retaining weights conducive to generalization, pruned networks can be accommodated on resource-constrained smart devices. It is commonly held that the distance on weight norms between the initialized and the fully-trained networks correlates with generalization performance. However, as we have uncovered, inconsistency between this metric and generalization during training processes, which poses an obstacle to determine the pruned structures on smart devices in advance. In this paper, we introduce the concept of the learning gap, emphasizing its accurate correlation with generalization. Experiments show that the learning gap, in the form of feature maps from the penultimate layer of networks, aligns with variations of generalization performance. We propose a novel learning framework, LNPT, which enables mature networks on the cloud to provide online guidance for network pruning and learning on smart devices with unlabeled data. Our results demonstrate the superiority of this approach over supervised training.
• Abstract（参考訳）: トレーニング前のプルーニングは、ニューラルネットワークをスマートデバイスにデプロイすることを可能にする。 一般化にともなう重みを保ちながら、資源制約のスマートデバイス上でプルーンドネットワークを利用できる。 一般に、初期化と完全学習ネットワーク間の重みノルム距離は一般化性能と相関する。 しかし、我々が明らかにしたように、この測定値と訓練過程における一般化の不整合は、事前にスマートデバイス上で切断された構造を決定するのに障害となる。 本稿では,学習ギャップの概念を導入し,その正確さと一般化の相関を強調した。 実験により,ネットワークの固有層から特徴写像の形で学習ギャップが一般化性能の変動と一致していることが示されている。 我々は,クラウド上の成熟したネットワークが,ラベルのないデータを持つスマートデバイス上でのネットワークプルーニングと学習のオンラインガイダンスを提供するための,新しい学習フレームワーク LNPT を提案する。 本研究は,教師あり学習よりもこのアプローチが優れていることを示すものである。

関連論文リスト

• A Spectral Condition for Feature Learning [20.440553685976194]
  主な課題は、ネットワークの内部表現があらゆる幅で非自明に進化するようにトレーニングをスケールすることである。 特徴学習は、重みのスペクトルノルムとそれらの更新をスケーリングすることで達成されることを示す。
  論文  参考訳（メタデータ） (2023-10-26T23:17:39Z)
• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• Network Anomaly Detection Using Federated Learning [0.483420384410068]
  我々は、効率的なネットワーク異常検出を可能にする堅牢でスケーラブルなフレームワークを導入する。 複数の参加者が共同でグローバルモデルをトレーニングするフェデレーション学習を活用します。 提案手法はUNSW-NB15データセットのベースライン機械学習手法よりも優れている。
  論文  参考訳（メタデータ） (2023-03-13T20:16:30Z)
• QuickNets: Saving Training and Preventing Overconfidence in Early-Exit Neural Architectures [2.28438857884398]
  ニューラルネットワークの高速トレーニングのための新しいカスケードトレーニングアルゴリズムであるQuickNetsを紹介した。 我々はQuickNetsが学習を動的に分散し、標準的なバックプロパゲーションと比較してトレーニングコストと推論コストを削減できることを実証した。
  論文  参考訳（メタデータ） (2022-12-25T07:06:32Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors [5.5586788751870175]
  我々は,高次元データの性質を簡潔に捉えるために,深層学習に疎結合を取り入れることに重点を置いている。 低ランクおよびスパース先行値を用いたバックグラウンドサブトラクションのための教師なしU-Net学習を実演する。
  論文  参考訳（メタデータ） (2021-06-21T08:41:02Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。