論文の概要: PSO-Convolutional Neural Networks with Heterogeneous Learning Rate
- arxiv url: http://arxiv.org/abs/2205.10456v3
- Date: Tue, 12 Sep 2023 14:22:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 18:10:00.270965
- Title: PSO-Convolutional Neural Networks with Heterogeneous Learning Rate
- Title（参考訳）: 不均一学習率を有するPSO畳み込みニューラルネットワーク
- Authors: Nguyen Huu Phong, Augusto Santos, Bernardete Ribeiro
- Abstract要約: 畳み込みニューラルネットワーク(ConvNetsまたはCNNs)は、コンピュータビジョンと関連する分野の領域に率直に展開されている。
本稿では,新しい粒子群最適化(PSO)によるConvNetsのトレーニングを提案する。
このような枠組みでは、各ConvNetの重みのベクトルは位相空間の粒子として介在し、PSOはトレーニング性能と一般化を促進するためにグラディエント・ディクセント(SGD)と動的に作用する。
- 参考スコア（独自算出の注目度）: 4.243356707599486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional Neural Networks (ConvNets or CNNs) have been candidly deployed
in the scope of computer vision and related fields. Nevertheless, the dynamics
of training of these neural networks lie still elusive: it is hard and
computationally expensive to train them. A myriad of architectures and training
strategies have been proposed to overcome this challenge and address several
problems in image processing such as speech, image and action recognition as
well as object detection. In this article, we propose a novel Particle Swarm
Optimization (PSO) based training for ConvNets. In such framework, the vector
of weights of each ConvNet is typically cast as the position of a particle in
phase space whereby PSO collaborative dynamics intertwines with Stochastic
Gradient Descent (SGD) in order to boost training performance and
generalization. Our approach goes as follows: i) [regular phase] each ConvNet
is trained independently via SGD; ii) [collaborative phase] ConvNets share
among themselves their current vector of weights (or particle-position) along
with their gradient estimates of the Loss function. Distinct step sizes are
coined by distinct ConvNets. By properly blending ConvNets with large (possibly
random) step-sizes along with more conservative ones, we propose an algorithm
with competitive performance with respect to other PSO-based approaches on
Cifar-10 and Cifar-100 (accuracy of 98.31% and 87.48%). These accuracy levels
are obtained by resorting to only four ConvNets -- such results are expected to
scale with the number of collaborative ConvNets accordingly. We make our source
codes available for download https://github.com/leonlha/PSO-ConvNet-Dynamics.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(convnetsまたはcnn)は、コンピュータビジョンおよび関連する分野の領域に率直に展開されている。
それでも、これらのニューラルネットワークのトレーニングのダイナミクスはまだ解明されていない。
この課題を克服し、音声認識や画像認識、行動認識などの画像処理におけるいくつかの問題に対処するために、数多くのアーキテクチャとトレーニング戦略が提案されている。
本稿では,新しい粒子群最適化(PSO)によるConvNetsのトレーニングを提案する。
このようなフレームワークでは、各ConvNetの重みのベクトルは、一般に位相空間における粒子の位置としてキャストされ、PSOの協調力学は、訓練性能と一般化を促進するためにSGD(Stochastic Gradient Descent)と相互作用する。
私たちのアプローチは以下の通りです。
i) 各ConvNetは,SGDを介して独立して訓練される。
二 損失関数の勾配推定とともに、その重み(又は粒子配置)の現在のベクトル間で、[協調相]凸体を共有すること。
異なるステップサイズは、異なるconvnetによって作られる。
より保守的なものとともに大きな(おそらくランダムな)ステップサイズとConvNetを適切にブレンドすることにより、Cifar-10とCifar-100の他のPSOベースのアプローチ(98.31%と87.48%の精度)に対する競合性能を持つアルゴリズムを提案する。
これらの精度レベルは、たった4つのConvNetを使用して取得される。
ソースコードはhttps://github.com/leonlha/pso-convnet-dynamicsからダウンロードできる。
関連論文リスト
- Video Action Recognition Collaborative Learning with Dynamics via
PSO-ConvNet Transformer [1.876462046907555]
ビデオにおける学習行動のための新しいPSO-ConvNetモデルを提案する。
UCF-101データセットに対する実験結果から,最大9%の精度向上が得られた。
全体として、我々の動的PSO-ConvNetモデルは、人間の行動認識を改善するための有望な方向を提供する。
論文 参考訳（メタデータ） (2023-02-17T23:39:34Z) - MogaNet: Multi-order Gated Aggregation Network [64.16774341908365]
我々は,識別的視覚的表現学習のために,MogaNetと呼ばれる現代ConvNetの新たなファミリーを提案する。
MogaNetは概念的に単純だが効果的な畳み込みをカプセル化し、集約をコンパクトモジュールに集約する。
MogaNetは、ImageNetの最先端のViTやConvNetと比較して、優れたスケーラビリティ、パラメータの大幅な効率、競争性能を示している。
論文 参考訳（メタデータ） (2022-11-07T04:31:17Z) - Dynamic ConvNets on Tiny Devices via Nested Sparsity [3.0313758880048765]
この作業では、Nested Sparse ConvNetsを構築するための、新たなトレーニングと圧縮パイプラインが導入されている。
Nested Sparse ConvNetは、Nのスパースサブネットワークとネストウェイトサブセットを含む単一のConvNetアーキテクチャで構成されている。
ARM-M7マイクロコントローラユニットのイメージ分類とオブジェクト検出タスクのテスト。
論文 参考訳（メタデータ） (2022-03-07T12:07:02Z) - Optimising for Interpretability: Convolutional Dynamic Alignment
Networks [108.83345790813445]
我々は、畳み込み動的アライメントネットワーク(CoDA Nets)と呼ばれる新しいニューラルネットワークモデルを紹介する。
彼らの中核となるビルディングブロックは動的アライメントユニット(DAU)であり、タスク関連パターンに合わせて動的に計算された重みベクトルで入力を変換するように最適化されている。
CoDAネットは一連の入力依存線形変換を通じて分類予測をモデル化し、出力を個々の入力コントリビューションに線形分解することができる。
論文 参考訳（メタデータ） (2021-09-27T12:39:46Z) - DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and
Transformers [105.74546828182834]
本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。
我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
論文 参考訳（メタデータ） (2021-09-21T09:57:21Z) - Convolutional Normalization: Improving Deep Convolutional Network
Robustness and Training [44.66478612082257]
現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている
フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。
畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
論文 参考訳（メタデータ） (2021-03-01T00:33:04Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Encoding the latent posterior of Bayesian Neural Networks for
uncertainty quantification [10.727102755903616]
我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。
可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。
我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
論文 参考訳（メタデータ） (2020-12-04T19:50:09Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳（メタデータ） (2020-10-02T16:50:26Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。