論文の概要: Extracting Effective Subnetworks with Gumebel-Softmax

• arxiv url: http://arxiv.org/abs/2202.12986v1
• Date: Fri, 25 Feb 2022 21:31:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:45:45.727318
• Title: Extracting Effective Subnetworks with Gumebel-Softmax
• Title（参考訳）: Gumebel-Softmaxによる有効サブネットの抽出
• Authors: Robin Dupont, Mohammed Amine Alaoui, Hichem Sahbi, Alice Lebois
• Abstract要約: 我々は、より大規模な未訓練の作業から効果的な作業作業場を抽出できる別の作業方法を提案する。 本手法は, Gumbel Softmax を用いた様々なトポロジーを探索し, 抽出する。 結果として得られた作業は、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。
• 参考スコア（独自算出の注目度）: 9.176056742068813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large and performant neural networks are often overparameterized and can be drastically reduced in size and complexity thanks to pruning. Pruning is a group of methods, which seeks to remove redundant or unnecessary weights or groups of weights in a network. These techniques allow the creation of lightweight networks, which are particularly critical in embedded or mobile applications. In this paper, we devise an alternative pruning method that allows extracting effective subnetworks from larger untrained ones. Our method is stochastic and extracts subnetworks by exploring different topologies which are sampled using Gumbel Softmax. The latter is also used to train probability distributions which measure the relevance of weights in the sampled topologies. The resulting subnetworks are further enhanced using a highly efficient rescaling mechanism that reduces training time and improves performances. Extensive experiments conducted on CIFAR10 show the outperformance of our subnetwork extraction method against the related work.
• Abstract（参考訳）: 大規模でパフォーマンスの高いニューラルネットワークは、しばしば過度にパラメータ化され、プルーニングによってサイズと複雑さが大幅に削減される。 プルーニング(pruning)は、ネットワーク内の余分な重みまたは不要な重みのグループを取り除くためのメソッドのグループである。 これらの技術は、組み込みアプリケーションやモバイルアプリケーションで特に重要な軽量ネットワークの作成を可能にする。 本稿では,より大規模な未学習者から有効なサブネットを抽出できる代替プルーニング法を提案する。 提案手法は確率的であり,Gumbel Softmaxを用いてサンプル化した様々なトポロジを探索することによりサブネットを抽出する。 後者は、サンプルトポロジにおける重みの関連性を測定する確率分布の訓練にも用いられる。 結果として生じるサブネットワークは、トレーニング時間を短縮し、パフォーマンスを改善する、非常に効率的な再スケーリングメカニズムを使用してさらに強化される。 CIFAR10で行った大規模な実験は,我々のサブネットワーク抽出法が関連する作業に対して優れていることを示す。

関連論文リスト

• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Synthesis and Pruning as a Dynamic Compression Strategy for Efficient Deep Neural Networks [1.8275108630751844]
  本稿では,学習時の脳の行動から直接引き出す,フィードフォワードネットワークのための新しい戦略的合成アルゴリズムを提案する。 ランダム選択を提唱する既存のアプローチとは異なり、我々は高いパフォーマンスのノードを新しいエッジの出発点として選択する。 この戦略は、有用な接続を生成し、結果としてネットワーク構造を小さくすることを目的としている。
  論文  参考訳（メタデータ） (2020-11-23T12:30:57Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection [35.121856435677564]
  本稿では,ディープニューラルネットワークにおけるグッドワークを見つけるための,単純な欲求選択手法を提案する。 十分に大きな事前訓練ネットワークに欲求選択戦略を適用することで、勾配降下で直接訓練されたネットワークよりも損失の少ないスモールワークを見つけることが保証される。
  論文  参考訳（メタデータ） (2020-03-03T21:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。