論文の概要: SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization
- arxiv url: http://arxiv.org/abs/2303.07153v1
- Date: Mon, 13 Mar 2023 14:27:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 14:34:20.822737
- Title: SA-CNN: Application to text categorization issues using simulated
annealing-based convolutional neural network optimization
- Title（参考訳）: sa-cnn:シミュレーションアニーリングに基づく畳み込みニューラルネットワーク最適化によるテキスト分類問題への応用
- Authors: Zihao Guo and Yueying Cao
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、ディープラーニングアルゴリズムの代表クラスである。
テキストCNNニューラルネットワークに基づくテキスト分類タスクのためのSA-CNNニューラルネットワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional neural networks (CNNs) are a representative class of deep
learning algorithms including convolutional computation that perform
translation-invariant classification of input data based on their hierarchical
architecture. However, classical convolutional neural network learning methods
use the steepest descent algorithm for training, and the learning performance
is greatly influenced by the initial weight settings of the convolutional and
fully connected layers, requiring re-tuning to achieve better performance under
different model structures and data. Combining the strengths of the simulated
annealing algorithm in global search, we propose applying it to the
hyperparameter search process in order to increase the effectiveness of
convolutional neural networks (CNNs). In this paper, we introduce SA-CNN neural
networks for text classification tasks based on Text-CNN neural networks and
implement the simulated annealing algorithm for hyperparameter search.
Experiments demonstrate that we can achieve greater classification accuracy
than earlier models with manual tuning, and the improvement in time and space
for exploration relative to human tuning is substantial.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、階層構造に基づく入力データの翻訳不変分類を行う畳み込み計算を含むディープラーニングアルゴリズムの代表クラスである。
しかし、古典的畳み込みニューラルネットワーク学習法は、トレーニングに最も急降下アルゴリズムを使用し、学習性能は、畳み込み層と完全連結層の初期重み設定に大きく影響され、異なるモデル構造とデータの下でより良いパフォーマンスを達成するために、再学習を必要とする。
グローバルサーチにおけるシミュレーションアニーリングアルゴリズムの強みを組み合わせることで,畳み込みニューラルネットワーク(CNN)の有効性を高めるために,ハイパーパラメータ探索プロセスに適用することを提案する。
本稿では,テキスト分類タスクを対象としたSA-CNNニューラルネットワークを導入し,ハイパーパラメータ探索のためのシミュレーションアニーリングアルゴリズムを実装した。
実験により、手動チューニングによる従来のモデルよりも高い分類精度が達成できることが示され、人間のチューニングに対する探索の時間と空間の改善が顕著である。
関連論文リスト
- A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Variational Tensor Neural Networks for Deep Learning [0.0]
深部ニューラルネットワーク(NN)へのテンソルネットワーク(TN)の統合を提案する。
これにより、大きなパラメータ空間上で効率的にトレーニングできるスケーラブルなテンソルニューラルネットワーク(TNN)アーキテクチャが実現される。
我々はTNNモデルを設計し、線形および非線形回帰、データ分類、MNIST手書き桁の画像認識のためのベンチマーク結果を提供することにより、提案手法の精度と効率を検証した。
論文 参考訳（メタデータ） (2022-11-26T20:24:36Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - Sampled Training and Node Inheritance for Fast Evolutionary Neural
Architecture Search [22.483917379706725]
進化的ニューラルアーキテクチャサーチ(ENAS)は、進化的アルゴリズムの魅力的なグローバル最適化能力のために注目を集めている。
本稿では,学習データの各ミニバッチに対して,両親がランダムにサンプルを採取し,訓練する,有向非循環グラフに基づく高速ENASのための新しいフレームワークを提案する。
提案アルゴリズムは,26の最先端のピアアルゴリズムと比較して,広く使用されているデータセット上で評価する。
論文 参考訳（メタデータ） (2020-03-07T12:33:01Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。