論文の概要: PowerLinear Activation Functions with application to the first layer of CNNs

• arxiv url: http://arxiv.org/abs/2108.09256v1
• Date: Fri, 20 Aug 2021 16:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 13:20:01.991042
• Title: PowerLinear Activation Functions with application to the first layer of CNNs
• Title（参考訳）: PowerLinear Activation関数とCNNの第1層への応用
• Authors: Kamyar Nasiri, Kamaledin Ghiasi-Shirazi
• Abstract要約: EvenPowLinアクティベーション関数は、CNNモデルでグレースケール画像の逆転を分類するために使用される。 EvenPowLinアクティベーション関数は、CNNモデルで、グレースケール画像の逆転を元のグレースケール画像と同じくらい正確に分類するために使用される。
• 参考スコア（独自算出の注目度）: 0.609170287691728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks (CNNs) have become the state-of-the-art tool for dealing with unsolved problems in computer vision and image processing. Since the convolution operator is a linear operator, several generalizations have been proposed to improve the performance of CNNs. One way to increase the capability of the convolution operator is by applying activation functions on the inner product operator. In this paper, we will introduce PowerLinear activation functions, which are based on the polynomial kernel generalization of the convolution operator. EvenPowLin functions are the main branch of the PowerLinear activation functions. This class of activation functions is saturated neither in the positive input region nor in the negative one. Also, the negative inputs are activated with the same magnitude as the positive inputs. These features made the EvenPowLin activation functions able to be utilized in the first layer of CNN architectures and learn complex features of input images. Additionally, EvenPowLin activation functions are used in CNN models to classify the inversion of grayscale images as accurately as the original grayscale images, which is significantly better than commonly used activation functions.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンと画像処理における未解決問題を扱う最先端のツールとなっている。 畳み込み演算子は線形演算子であるため、CNNの性能を改善するためにいくつかの一般化が提案されている。 畳み込み演算子の能力を高める一つの方法は、内部積演算子に活性化関数を適用することである。 本稿では,畳み込み演算子の多項式核一般化に基づく電力線形活性化関数を提案する。 EvenPowLin関数はPowerLinearアクティベーション関数のメインブランチである。 このタイプの活性化関数は正の入力領域にも負の入力領域にも飽和しない。 また、負の入力は正の入力と同じ大きさで活性化される。 これらの特徴により、EvenPowLinアクティベーション機能はCNNアーキテクチャの第1層で利用でき、入力画像の複雑な機能を学ぶことができる。 さらに、EvenPowLinのアクティベーション関数はCNNモデルで使用されており、通常のアクティベーション関数よりもはるかに優れたグレースケールイメージのインバージョンを正確に分類することができる。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Trainable Highly-expressive Activation Functions [8.662179223772089]
  トレーニング可能な高表現能アクティベーション機能であるDiTACを紹介する。 DiTACはモデル表現性と性能を高め、しばしば大幅な改善をもたらす。 また、セマンティックセグメンテーション、画像生成、回帰問題、画像分類といったタスクにおいて、既存のアクティベーション関数(後者が固定可能かトレーニング可能かに関わらず)を上回っている。
  論文  参考訳（メタデータ） (2024-07-10T11:49:29Z)
• Multilinear Operator Networks [60.7432588386185]
  ポリノミアルネットワーク(Polynomial Networks)は、アクティベーション関数を必要としないモデルのクラスである。 マルチリニア演算子のみに依存するMONetを提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:52:19Z)
• STL: A Signed and Truncated Logarithm Activation Function for Neural Networks [5.9622541907827875]
  活性化関数はニューラルネットワークにおいて重要な役割を果たす。 本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。 提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
  論文  参考訳（メタデータ） (2023-07-31T03:41:14Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Neural networks with trainable matrix activation functions [7.999703756441757]
  この研究は、行列値の活性化関数を構成するための体系的なアプローチを開発する。 提案した活性化関数は、重みとバイアスベクトルとともに訓練されたパラメータに依存する。
  論文  参考訳（メタデータ） (2021-09-21T04:11:26Z)
• Content-Aware Convolutional Neural Networks [98.97634685964819]
  畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。 本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
  論文  参考訳（メタデータ） (2021-06-30T03:54:35Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Trainable Activation Function in Image Classification [0.0]
  本稿では、ディープニューラルネットワークにおいてアクティベーション機能をトレーニング可能にする方法について論じる。 アクティベーション関数を連続的に変動させる異なるアクティベーション関数の直列結合と線形結合を用いる。
  論文  参考訳（メタデータ） (2020-04-28T03:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。