論文の概要: Density-embedding layers: a general framework for adaptive receptive fields

• arxiv url: http://arxiv.org/abs/2006.12779v2
• Date: Mon, 6 Jul 2020 07:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:59:04.246080
• Title: Density-embedding layers: a general framework for adaptive receptive fields
• Title（参考訳）: 密度埋め込み層:適応受容場のための汎用フレームワーク
• Authors: Francesco Cicala, Luca Bortolussi
• Abstract要約: 本稿では,密度埋め込み層の理論的枠組みを提案する。 このフレームワークは最近の手法をキャプチャして一般化し、受容場の微調整を可能にする。 本稿では,いくつかの新しいレイヤを定義し,古典的MNISTデータセット上で実験的に検証する。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The effectiveness and performance of artificial neural networks, particularly for visual tasks, depends in crucial ways on the receptive field of neurons. The receptive field itself depends on the interplay between several architectural aspects, including sparsity, pooling, and activation functions. In recent literature there are several ad hoc proposals trying to make receptive fields more flexible and adaptive to data. For instance, different parameterizations of convolutional and pooling layers have been proposed to increase their adaptivity. In this paper, we propose the novel theoretical framework of density-embedded layers, generalizing the transformation represented by a neuron. Specifically, the affine transformation applied on the input is replaced by a scalar product of the input, suitably represented as a piecewise constant function, with a density function associated with the neuron. This density is shown to describe directly the receptive field of the neuron. Crucially, by suitably representing such a density as a linear combination of a parametric family of functions, we can efficiently train the densities by means of any automatic differentiation system, making it adaptable to the problem at hand, and computationally efficient to evaluate. This framework captures and generalizes recent methods, allowing a fine tuning of the receptive field. In the paper, we define some novel layers and we experimentally validate them on the classic MNIST dataset.
• Abstract（参考訳）: 人工ニューラルネットワークの有効性と性能は、特に視覚的タスクにおいて、ニューロンの受容野に重要な方法で依存する。 受容的場自体は、スパーシティ、プール、アクティベーション機能などいくつかのアーキテクチャ的側面の相互作用に依存する。 最近の文献では、受容場をより柔軟でデータに適応させようとするアドホックな提案がいくつかある。 例えば、畳み込み層とプーリング層の異なるパラメータ化は、その適応性を高めるために提案されている。 本稿では,ニューロンに代表される変換を一般化した密度埋め込み層の理論的枠組みを提案する。 具体的には、入力に適用されるアフィン変換は、入力のスカラー積に置き換えられ、ニューロンに関連付けられた密度関数を持つ分割定数関数として好適に表現される。 この密度は神経細胞の受容野を直接記述している。 重要な点として,そのような密度をパラメトリック関数の線形結合として適切に表現することにより,任意の自動微分システムを用いて密度を効率的に訓練し,手元の問題に適応させ,計算効率を高く評価することができる。 このフレームワークは最近のメソッドをキャプチャして一般化し、受容フィールドの微調整を可能にする。 本稿では,いくつかの新しいレイヤを定義し,古典的MNISTデータセット上で実験的に検証する。

関連論文リスト

• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• An Exploration of Conditioning Methods in Graph Neural Networks [8.532288965425805]
  物理や化学などの計算タスクでは、相対的な位置や距離といったエッジ属性の使用が不可欠であることが証明された。 弱い条件付け、強い条件付け、純粋な条件付けは、それぞれの属性に因果的に依存する結合ベースの条件付け、ゲーティング、変換に関連する。 この分類は、分離可能な畳み込みから様々な形式のメッセージパッシングネットワークまで、GNNの異なるクラスについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-05-03T07:14:12Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Evolving Neural Selection with Adaptive Regularization [7.298440208725654]
  深部ニューラルネットワークにおけるニューロンの選択が進化し,予測の難しさに適応する手法を示す。 本稿では,階層内のニューロンを重み付けしてネットワークの変種を形成するために進化する適応型ニューラルセレクション(ANS)フレームワークを提案する。 実験の結果,提案手法はニューラルネットワークアーキテクチャの性能を著しく向上させることができることがわかった。
  論文  参考訳（メタデータ） (2022-04-04T17:19:52Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。