論文の概要: Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.11358v1
• Date: Mon, 23 Nov 2020 12:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:12:28.958642
• Title: Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks
• Title（参考訳）: 効率的なディープニューラルネットワークの動的圧縮戦略としての合成とプルーニング
• Authors: Alastair Finlinson, Sotiris Moschoyiannis
• Abstract要約: 本稿では,学習時の脳の行動から直接引き出す,フィードフォワードネットワークのための新しい戦略的合成アルゴリズムを提案する。 ランダム選択を提唱する既存のアプローチとは異なり、我々は高いパフォーマンスのノードを新しいエッジの出発点として選択する。 この戦略は、有用な接続を生成し、結果としてネットワーク構造を小さくすることを目的としている。
• 参考スコア（独自算出の注目度）: 1.8275108630751844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The brain is a highly reconfigurable machine capable of task-specific adaptations. The brain continually rewires itself for a more optimal configuration to solve problems. We propose a novel strategic synthesis algorithm for feedforward networks that draws directly from the brain's behaviours when learning. The proposed approach analyses the network and ranks weights based on their magnitude. Unlike existing approaches that advocate random selection, we select highly performing nodes as starting points for new edges and exploit the Gaussian distribution over the weights to select corresponding endpoints. The strategy aims only to produce useful connections and result in a smaller residual network structure. The approach is complemented with pruning to further the compression. We demonstrate the techniques to deep feedforward networks. The residual sub-networks that are formed from the synthesis approaches in this work form common sub-networks with similarities up to ~90%. Using pruning as a complement to the strategic synthesis approach, we observe improvements in compression.
• Abstract（参考訳）: 脳はタスク固有の適応が可能な高度に再構成可能な機械である。 脳は、問題を解くために、より最適な設定を継続的に調整します。 本稿では,学習時の脳の行動から直接引き出す,フィードフォワードネットワークのための新しい戦略的合成アルゴリズムを提案する。 提案手法はネットワークを解析し,その大きさに基づいて重み付けを行う。 ランダム選択を提唱する既存のアプローチとは異なり、我々はハイパフォーマンスなノードを新しいエッジの開始点として選択し、ウェイト上のガウス分布を利用して対応するエンドポイントを選択する。 この戦略は、有用な接続を生成して、残りのネットワーク構造を小さくすることだけを目的としている。 この手法は圧縮をさらに進めるためにプルーニングと補完される。 ディープフィードフォワードネットワークに対する手法を実証する。 この研究で合成アプローチから形成された残存サブネットワークは、90%程度の類似性を持つ共通サブネットワークを形成する。 プルーニングを戦略的合成手法の補完として利用し,圧縮性の向上を観察する。

関連論文リスト

• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• Extracting Effective Subnetworks with Gumebel-Softmax [9.176056742068813]
  我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。 本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。 結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
  論文  参考訳（メタデータ） (2022-02-25T21:31:30Z)
• Layer Adaptive Node Selection in Bayesian Neural Networks: Statistical Guarantees and Implementation Details [0.5156484100374059]
  スパースディープニューラルネットワークは、大規模研究において予測モデル構築に効率的であることが証明されている。 本稿では,スパイク・アンド・スラブ型ガウス先行法を用いて,訓練中のノード選択を可能にするベイズスパース解を提案する。 本研究は, 先行パラメータのキャラクタリゼーションとともに, 変動的後続一貫性の基本的な結果を確立する。
  論文  参考訳（メタデータ） (2021-08-25T00:48:07Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。