論文の概要: RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow

• arxiv url: http://arxiv.org/abs/2007.04216v1
• Date: Wed, 8 Jul 2020 15:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 10:09:40.468410
• Title: RicciNets: Curvature-guided Pruning of High-performance Neural Networks Using Ricci Flow
• Title（参考訳）: RicciNets:Ricci Flowを用いた高速ニューラルネットワークの曲率誘導プルーニング
• Authors: Samuel Glass, Simeon Spasov, Pietro Li\`o
• Abstract要約: 計算グラフをニューラルネットワークにマッピングする前に、Ricci曲率の定義を用いて、重要度の低いエッジを除去する。 1パスあたりの浮動小数点演算数(FLOP)が約35%削減されるが、性能は低下しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A novel method to identify salient computational paths within randomly wired neural networks before training is proposed. The computational graph is pruned based on a node mass probability function defined by local graph measures and weighted by hyperparameters produced by a reinforcement learning-based controller neural network. We use the definition of Ricci curvature to remove edges of low importance before mapping the computational graph to a neural network. We show a reduction of almost $35\%$ in the number of floating-point operations (FLOPs) per pass, with no degradation in performance. Further, our method can successfully regularize randomly wired neural networks based on purely structural properties, and also find that the favourable characteristics identified in one network generalise to other networks. The method produces networks with better performance under similar compression to those pruned by lowest-magnitude weights. To our best knowledge, this is the first work on pruning randomly wired neural networks, as well as the first to utilize the topological measure of Ricci curvature in the pruning mechanism.
• Abstract（参考訳）: トレーニング前にランダムに配線されたニューラルネットワーク内の有線計算経路を同定する新しい手法を提案する。 この計算グラフは、局所グラフ測度で定義されるノード質量確率関数に基づいてプルーニングされ、強化学習ベースの制御ニューラルネットワークによって生成されるハイパーパラメータによって重み付けされる。 計算グラフをニューラルネットワークにマッピングする前に,リッチ曲率の定義を用いて,重要度の低いエッジを除去する。 我々は,1パスあたりの浮動小数点演算数(flops)の約35\%$の削減を示し,性能の低下はみられなかった。 さらに,本手法は,ランダムに繋がったニューラルネットワークを純粋に構造的特性に基づいて正規化することを可能にし,一方のネットワークで識別される好適な特性が他のネットワークに一般化できることを見いだすことができる。 この方法では、低マグニチュード重みで刈り取られたものと類似した圧縮下で、より優れた性能のネットワークを生成する。 我々の知る限り、これはランダムに配線されたニューラルネットワークをプルーニングする最初の研究であり、プルーニング機構でリッチ曲率のトポロジカル測度を利用する最初の研究である。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Pruning a neural network using Bayesian inference [1.776746672434207]
  ニューラルネットワークのプルーニングは、大規模ニューラルネットワークの計算とメモリ要求を減らすための非常に効果的な手法である。 本稿では,ベイズ推論を応用したニューラルネットの刈り取り手法を提案する。
  論文  参考訳（メタデータ） (2023-08-04T16:34:06Z)
• Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
  行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。 本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-18T05:39:32Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
  Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。 我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
  論文  参考訳（メタデータ） (2022-09-27T08:14:00Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Neuron-based Pruning of Deep Neural Networks with Better Generalization using Kronecker Factored Curvature Approximation [18.224344440110862]
  提案アルゴリズムは、ヘッセンのスペクトル半径を探索することにより、圧縮されたモデルのパラメータを平らな解へ向ける。 以上の結果から, ニューロン圧縮における最先端の結果が向上することが示唆された。 この手法は、異なるニューラルネットワークモデル間で小さな精度で、非常に小さなネットワークを実現することができる。
  論文  参考訳（メタデータ） (2021-11-16T15:55:59Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。