論文の概要: Multi Layer Neural Networks as Replacement for Pooling Operations
- arxiv url: http://arxiv.org/abs/2006.06969v4
- Date: Sun, 17 Jan 2021 12:02:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 03:17:57.465216
- Title: Multi Layer Neural Networks as Replacement for Pooling Operations
- Title（参考訳）: プール操作の代替としての多層ニューラルネットワーク
- Authors: Wolfgang Fuhl and Enkelejda Kasneci
- Abstract要約: 一方のパーセプトロンは,モデルの複雑さを増大させることなく,プール操作として有効に利用できることを示す。
テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減少させることを示す。
- 参考スコア（独自算出の注目度）: 13.481518628796692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pooling operations, which can be calculated at low cost and serve as a linear
or nonlinear transfer function for data reduction, are found in almost every
modern neural network. Countless modern approaches have already tackled
replacing the common maximum value selection and mean value operations, not to
mention providing a function that allows different functions to be selected
through changing parameters. Additional neural networks are used to estimate
the parameters of these pooling functions.Consequently, pooling layers may
require supplementary parameters to increase the complexity of the whole model.
In this work, we show that one perceptron can already be used effectively as a
pooling operation without increasing the complexity of the model. This kind of
pooling allows for the integration of multi-layer neural networks directly into
a model as a pooling operation by restructuring the data and, as a result,
learnin complex pooling operations. We compare our approach to tensor
convolution with strides as a pooling operation and show that our approach is
both effective and reduces complexity. The restructuring of the data in
combination with multiple perceptrons allows for our approach to be used for
upscaling, which can then be utilized for transposed convolutions in semantic
segmentation.
- Abstract（参考訳）: ローコストで計算でき、データ削減のための線形または非線形転送関数として機能するプーリング操作は、ほぼ全ての現代のニューラルネットワークで見られる。
現代のアプローチは、パラメータの変更によって異なる関数を選択できる関数を提供するだけでなく、一般的な最大値選択と平均値演算を置き換えることに既に取り組んでいます。
追加のニューラルネットワークは、これらのプーリング関数のパラメータを推定するために使用され、プール層はモデル全体の複雑さを高めるために補足的なパラメータを必要とする可能性がある。
本研究では,モデルの複雑さを増すことなく,プール操作として既に1つのパーセプトロンを効果的に使用できることを示す。
この種のプーリングは、データを再構成し、結果として複雑なプーリング操作を学ぶことで、複数の層ニューラルネットワークを直接プール操作としてモデルに統合することができる。
テンソル畳み込みに対する我々のアプローチとストライドをプール操作として比較し、我々のアプローチが有効であり、複雑さを減らすことを示す。
データを複数のパーセプトロンと組み合わせて再構成することで、我々のアプローチをアップスケーリングに利用し、セマンティックセグメンテーションにおける転置畳み込みに利用することができる。
関連論文リスト
- ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳（メタデータ） (2023-05-24T22:10:12Z) - Sparse Interaction Additive Networks via Feature Interaction Detection
and Sparse Selection [10.191597755296163]
我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。
提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
論文 参考訳（メタデータ） (2022-09-19T19:57:17Z) - Hierarchical Spherical CNNs with Lifting-based Adaptive Wavelets for
Pooling and Unpooling [101.72318949104627]
本稿では, 階層型畳み込みニューラルネットワーク(HS-CNN)の新たな枠組みを提案し, プールやアンプールのための適応球面ウェーブレットを学習する。
LiftHS-CNNは、画像レベルのタスクとピクセルレベルのタスクの両方において、より効率的な階層的特徴学習を実現する。
論文 参考訳（メタデータ） (2022-05-31T07:23:42Z) - Pooling Revisited: Your Receptive Field is Suboptimal [35.11562214480459]
受信フィールドのサイズと形状は、ネットワークがどのようにローカル情報を集約するかを決定する。
我々はDynOPoolと呼ばれるシンプルだが効果的な動的最適化プール操作を提案する。
実験の結果,学習可能なリサイズモジュールを備えたモデルは,画像分類やセマンティックセグメンテーションにおいて,複数のデータセットのベースラインネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-30T17:03:40Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Deep Learning with Functional Inputs [0.0]
本稿では,機能データをフィードフォワードニューラルネットワークに統合する手法を提案する。
この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。
このモデルは、新しいデータの予測や真の機能的重みの回復など、多くの文脈でうまく機能することが示されている。
論文 参考訳（メタデータ） (2020-06-17T01:23:00Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳（メタデータ） (2020-04-24T14:37:56Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。