論文の概要: Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning

• arxiv url: http://arxiv.org/abs/2201.12712v1
• Date: Sun, 30 Jan 2022 03:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 10:18:16.739736
• Title: Win the Lottery Ticket via Fourier Analysis: Frequencies Guided Network Pruning
• Title（参考訳）: フーリエ分析によるロッテリチケットの勝利:周波数誘導型ネットワークプルーニング
• Authors: Yuzhang Shang, Bin Duan, Ziliang Zong, Liqiang Nie, Yan Yan
• Abstract要約: 最適ネットワークプルーニングは、数学的にはNPハード問題である非自明なタスクである。 本稿では,MBP(Magnitude-Based Pruning)方式について検討し,新しい視点から解析する。 また,新たな2段階プルーニング手法を提案し,その1段階はプルーニングネットワークのトポロジ的構造を取得し,もう1段階はプルーニングネットワークを再訓練し,キャパシティを回復させる。
• 参考スコア（独自算出の注目度）: 50.232218214751455
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: With the remarkable success of deep learning recently, efficient network compression algorithms are urgently demanded for releasing the potential computational power of edge devices, such as smartphones or tablets. However, optimal network pruning is a non-trivial task which mathematically is an NP-hard problem. Previous researchers explain training a pruned network as buying a lottery ticket. In this paper, we investigate the Magnitude-Based Pruning (MBP) scheme and analyze it from a novel perspective through Fourier analysis on the deep learning model to guide model designation. Besides explaining the generalization ability of MBP using Fourier transform, we also propose a novel two-stage pruning approach, where one stage is to obtain the topological structure of the pruned network and the other stage is to retrain the pruned network to recover the capacity using knowledge distillation from lower to higher on the frequency domain. Extensive experiments on CIFAR-10 and CIFAR-100 demonstrate the superiority of our novel Fourier analysis based MBP compared to other traditional MBP algorithms.
• Abstract（参考訳）: 近年のディープラーニングの成功により、効率的なネットワーク圧縮アルゴリズムは、スマートフォンやタブレットなどのエッジデバイスの潜在的な計算能力を公開するために緊急に要求されている。 しかし、最適ネットワークプルーニングは数学的にはNPハード問題である非自明なタスクである。 従来の研究者は、破砕されたネットワークのトレーニングを宝くじを買うと説明していた。 本稿では,Magnitude-Based Pruning (MBP) 方式について検討し,深層学習モデルのフーリエ解析を用いて新しい視点から解析し,モデル指定を導く。 また, フーリエ変換を用いたmbpの一般化能力を説明するとともに, 1 段階はプルーニングネットワークのトポロジカル構造を得る, もう 1 段階はプルーニングネットワークを再訓練し, 知識蒸留による容量を周波数領域の低レベルから高レベルに回復する, 新たな二段階プルーニング手法を提案する。 CIFAR-10とCIFAR-100の大規模な実験は、他の従来のMBPアルゴリズムと比較して、新しいフーリエ解析に基づくMBPの優位性を示している。

関連論文リスト

• Efficient Training of Deep Neural Operator Networks via Randomized Sampling [0.0]
  ディープオペレータネットワーク(DeepNet)は、様々な科学的・工学的応用における複雑な力学のリアルタイム予測に成功している。 本稿では,DeepONetのトレーニングを取り入れたランダムサンプリング手法を提案する。 実験の結果,訓練中にトランクネットワーク入力にランダム化を組み込むことで,DeepONetの効率性と堅牢性が向上し,複雑な物理系のモデリングにおけるフレームワークの性能向上に期待できる道筋が得られた。
  論文  参考訳（メタデータ） (2024-09-20T07:18:31Z)
• Robust Fourier Neural Networks [1.0589208420411014]
  フーリエ埋込層の後, 単純な対角層を導入することにより, ネットワークの騒音測定がより堅牢になることを示す。 特定の条件下では,フーリエ関数の非線形関数の雑音混合である関数も学習することができる。
  論文  参考訳（メタデータ） (2024-09-03T16:56:41Z)
• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
  勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。 我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-19T23:41:03Z)
• Attentive Gaussian processes for probabilistic time-series generation [4.94950858749529]
  本稿では,ガウス過程の回帰と組み合わせて実数値列を生成する,計算効率のよいアテンションベースネットワークを提案する。 我々は,GPがフルバッチを用いて訓練されている間,ネットワークのミニバッチトレーニングを可能にするブロックワイズトレーニングアルゴリズムを開発した。 アルゴリズムは収束することが証明され、より良くなくても、見いだされた解の品質に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:19:15Z)
• DeepPhaseCut: Deep Relaxation in Phase for Unsupervised Fourier Phase Retrieval [31.380061715549584]
  本稿では、フーリエ位相探索のための新しい、教師なしフィードフォワードニューラルネットワークを提案する。 ニューラルネットワークを正規化用語や、教師付きトレーニングのためのエンドツーエンドのブラックボックスモデルとして使用している既存のディープラーニングアプローチとは異なり、我々のアルゴリズムは、教師なし学習フレームワークにおけるPhaseCutアルゴリズムのフィードフォワードニューラルネットワーク実装である。 我々のネットワークは2つの生成器で構成されている: 1つは位相損失を用いた位相推定用で、もう1つは画像再構成用で、これらは全て一致したデータを持たないCycleGANフレームワークを用いて同時に訓練されている。
  論文  参考訳（メタデータ） (2020-11-20T16:10:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。