論文の概要: Efficient Sparse Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2103.07674v1
• Date: Sat, 13 Mar 2021 10:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:28:59.972292
• Title: Efficient Sparse Artificial Neural Networks
• Title（参考訳）: 効率的なスパースニューラルネットワーク
• Authors: Seyed Majid Naji, Azra Abtahi, Farokh Marvasti
• Abstract要約: この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。 このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。 本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。
• 参考スコア（独自算出の注目度）: 11.945854832533232
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The brain, as the source of inspiration for Artificial Neural Networks (ANN), is based on a sparse structure. This sparse structure helps the brain to consume less energy, learn easier and generalize patterns better than any other ANN. In this paper, two evolutionary methods for adopting sparsity to ANNs are proposed. In the proposed methods, the sparse structure of a network as well as the values of its parameters are trained and updated during the learning process. The simulation results show that these two methods have better accuracy and faster convergence while they need fewer training samples compared to their sparse and non-sparse counterparts. Furthermore, the proposed methods significantly improve the generalization power and reduce the number of parameters. For example, the sparsification of the ResNet47 network by exploiting our proposed methods for the image classification of ImageNet dataset uses 40 % fewer parameters while the top-1 accuracy of the model improves by 12% and 5% compared to the dense network and their sparse counterpart, respectively. As another example, the proposed methods for the CIFAR10 dataset converge to their final structure 7 times faster than its sparse counterpart, while the final accuracy increases by 6%.
• Abstract（参考訳）: この脳は、ANN(Artificial Neural Networks)のインスピレーションの源として、スパース構造に基づいている。 このスパース構造は、脳のエネルギー消費を減らし、より容易に学習し、パターンを他のどのANNよりも一般化するのに役立ちます。 本論文では,ANNにスパース性を導入するための2つの進化的手法を提案する。 提案手法では, ネットワークのスパース構造とそのパラメータの値が学習プロセス中に訓練され, 更新される。 シミュレーションの結果,この2つの手法は,スパース法と非スパース法と比較してトレーニングサンプルを少なくする一方で,精度が向上し,収束が速くなることがわかった。 さらに,提案手法は一般化能力を大幅に向上し,パラメータ数を削減する。 たとえば、ImageNetデータセットの画像分類のための提案手法を利用してResNet47ネットワークのスパース化は、40%少ないパラメータを使用し、モデルのトップ1の精度は、高密度ネットワークとそのスパース対応と比較して12%と5%向上します。 別の例として、CIFAR10データセットの手法はスパースよりも7倍早く最終構造に収束するが、最終的な精度は6%向上する。

関連論文リスト

• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks [0.0]
  本稿では,異なるアーキテクチャのニューラルネットワーク間でパラメータを転送する手法を提案する。 我々の手法はDPIATと呼ばれ、動的プログラミングを用いてアーキテクチャ間のブロックとレイヤをマッチングし、パラメータを効率的に転送する。 ImageNetの実験では,50時間後の平均1.6倍の検証精度が向上した。
  論文  参考訳（メタデータ） (2022-12-28T17:35:41Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Boost Neural Networks by Checkpoints [9.411567653599358]
  本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。 同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
  論文  参考訳（メタデータ） (2021-10-03T09:14:15Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Kernel Based Progressive Distillation for Adder Neural Networks [71.731127378807]
  追加のみを含むAdder Neural Networks(ANN)は、エネルギー消費の少ないディープニューラルネットワークを新たに開発する方法を提供する。 すべての畳み込みフィルタを加算フィルタで置き換える場合、精度の低下がある。 本稿では,トレーニング可能なパラメータを増大させることなく,ANNの性能を向上するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-09-28T03:29:19Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)
• Ensembled sparse-input hierarchical networks for high-dimensional datasets [8.629912408966145]
  サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。 提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。 EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
  論文  参考訳（メタデータ） (2020-05-11T02:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。