論文の概要: ConformalLayers: A non-linear sequential neural network with associative layers

• arxiv url: http://arxiv.org/abs/2110.12108v1
• Date: Sat, 23 Oct 2021 01:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 00:29:36.340270
• Title: ConformalLayers: A non-linear sequential neural network with associative layers
• Title（参考訳）: ConformalLayers: 連想層を持つ非線形シーケンシャルニューラルネットワーク
• Authors: Eduardo Vera Sousa and Leandro A. F. Fernandes and Cristina Nader Vasconcelos
• Abstract要約: 本稿では,CNNの逐次層間におけるアソナティビティを実現するための,新たなアクティベーション機能を提案する。 ネットワークの深さに関わらず,全ての「コンフォーマル層」を結合し,推論コストを一定に抑えるために,アソナティビティを利用する。
• 参考スコア（独自算出の注目度）: 1.2599533416395765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Networks (CNNs) have been widely applied. But as the CNNs grow, the number of arithmetic operations and memory footprint also increase. Furthermore, typical non-linear activation functions do not allow associativity of the operations encoded by consecutive layers, preventing the simplification of intermediate steps by combining them. We present a new activation function that allows associativity between sequential layers of CNNs. Even though our activation function is non-linear, it can be represented by a sequence of linear operations in the conformal model for Euclidean geometry. In this domain, operations like, but not limited to, convolution, average pooling, and dropout remain linear. We take advantage of associativity to combine all the "conformal layers" and make the cost of inference constant regardless of the depth of the network.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は広く応用されている。 しかし、CNNが大きくなるにつれて、算術演算やメモリフットプリントも増加する。 さらに、典型的な非線形活性化関数は、連続層によって符号化された操作の連想性を許容せず、それらを組み合わせることで中間ステップの単純化を防ぐ。 本稿では,cnnの逐次層間結合性を実現する新しい活性化関数を提案する。 我々の活性化関数は非線形であるが、ユークリッド幾何学の共形モデルにおける線形演算の列で表すことができる。 この領域では、畳み込み、平均プーリング、ドロップアウトのような操作は線形のままである。 ネットワークの深さによらず,すべての「コンフォーマル層」を結合し,推論コストを一定に抑えるために,アソナティビティを利用する。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Tutorial on Neural Networks and Gradient-free Training [0.0]
  本稿では,自己完結型チュートリアル方式で,ニューラルネットワークのコンパクトな行列ベース表現を提案する。 ニューラルネットワークは数個のベクトル値関数を構成する数学的非線形関数である。
  論文  参考訳（メタデータ） (2022-11-26T15:33:11Z)
• Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
  本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。 この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。 予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
  論文  参考訳（メタデータ） (2022-06-30T04:48:14Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Nonlinear computations in spiking neural networks through multiplicative synapses [3.1498833540989413]
  非線形計算は、スパイクニューラルネットワークでうまく実装できる。 これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。 いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
  論文  参考訳（メタデータ） (2020-09-08T16:47:27Z)
• Internal representation dynamics and geometry in recurrent neural networks [10.016265742591674]
  本稿では,バニラRNNがネットワークのダイナミクスを解析することにより,単純な分類タスクを実現する方法を示す。 初期の内部表現はデータの実際のラベルから解放されるが、この情報は出力層に直接アクセスできない。
  論文  参考訳（メタデータ） (2020-01-09T23:19:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。