論文の概要: Trainable Activation Function in Image Classification

• arxiv url: http://arxiv.org/abs/2004.13271v2
• Date: Fri, 5 Jun 2020 09:05:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 21:49:44.564932
• Title: Trainable Activation Function in Image Classification
• Title（参考訳）: 画像分類における訓練可能な活性化関数
• Authors: Zhaohe Liao
• Abstract要約: 本稿では、ディープニューラルネットワークにおいてアクティベーション機能をトレーニング可能にする方法について論じる。 アクティベーション関数を連続的に変動させる異なるアクティベーション関数の直列結合と線形結合を用いる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks
• Abstract（参考訳）: 現在のニューラルネットワークの研究では、アクティベーション機能は人間が手動で指定し、トレーニング中に自分自身を変えることができない。 本稿では,ニューラルネットワークのアクティベーション関数を学習可能にする方法について述べる。 アクティベーション関数の連続および線形結合は、アクティベーション関数を連続的に変動させる。 また,CNNとFourier-CNNを併用したCNNと,Cifar-10データセット上でのLC-CNNの性能試験を行った。 その結果、トレーニング可能なアクティベーション関数は、最もよく使われるreluアクティベーション関数よりも優れたパフォーマンスを示しています。 最後に、オートエンコーダによるフーリエCNNの性能向上と、ネットワークパラメータの最適化におけるPSOアルゴリズムの性能試験を行う。

関連論文リスト

• Trainable Highly-expressive Activation Functions [8.662179223772089]
  トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。 また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
  論文  参考訳（メタデータ） (2024-07-10T11:49:29Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• PowerLinear Activation Functions with application to the first layer of CNNs [0.609170287691728]
  EvenPowLinアクティベーション関数は、CNNモデルでグレースケール画像の逆転を分類するために使用される。 EvenPowLinアクティベーション関数は、CNNモデルで、グレースケール画像の逆転を元のグレースケール画像と同じくらい正確に分類するために使用される。
  論文  参考訳（メタデータ） (2021-08-20T16:43:01Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。