論文の概要: Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural
Transfer Analytical Forms
- arxiv url: http://arxiv.org/abs/2101.09948v2
- Date: Fri, 5 Feb 2021 11:42:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 18:54:54.917230
- Title: Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural
Transfer Analytical Forms
- Title（参考訳）: パラメトリック整流パワーシグモイドユニット:非線形神経伝達解析形式を学習する
- Authors: Abdourrahmane Mahamane Atto (LISTIC), Sylvie Galichet (LISTIC),
Dominique Pastor, Nicolas M\'eger (LISTIC)
- Abstract要約: 本稿では,線形畳み込み重みと非線形活性化関数のパラメトリック形式を共用する双対パラダイムの表現関数を提案する。
関数表現を実行するために提案された非線形形式は、整形パワーシグモイド単位と呼ばれる新しいパラメトリック神経伝達関数のクラスに関連付けられる。
浅層学習と深層学習の両フレームワークにおいて,畳み込み型および整流型シグモイド学習パラメータの連成学習により達成された性能を示す。
- 参考スコア（独自算出の注目度）: 1.6975704972827304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The paper proposes representation functionals in a dual paradigm where
learning jointly concerns both linear convolutional weights and parametric
forms of nonlinear activation functions. The nonlinear forms proposed for
performing the functional representation are associated with a new class of
parametric neural transfer functions called rectified power sigmoid units. This
class is constructed to integrate both advantages of sigmoid and rectified
linear unit functions, in addition with rejecting the drawbacks of these
functions. Moreover, the analytic form of this new neural class involves scale,
shift and shape parameters so as to obtain a wide range of activation shapes,
including the standard rectified linear unit as a limit case. Parameters of
this neural transfer class are considered as learnable for the sake of
discovering the complex shapes that can contribute in solving machine learning
issues. Performance achieved by the joint learning of convolutional and
rectified power sigmoid learnable parameters are shown outstanding in both
shallow and deep learning frameworks. This class opens new prospects with
respect to machine learning in the sense that learnable parameters are not only
attached to linear transformations, but also to suitable nonlinear operators.
- Abstract（参考訳）: 本稿では,線形畳み込み重みと非線形活性化関数のパラメトリック形式の両方を共用する双対パラダイムの表現関数を提案する。
関数表現を実行するために提案された非線形形式は、整形パワーシグモイド単位と呼ばれる新しいパラメトリック神経伝達関数のクラスに関連付けられる。
このクラスは、これらの関数の欠点を否定するのに加えて、シグモイドと正則線型単位関数の利点を統合するために構築される。
さらに、この新しいニューラルクラスの分析形式は、標準整列線形単位を極限として含む幅広い活性化形状を得るために、スケール、シフト、形状パラメータを含む。
この神経伝達クラスのパラメータは、機械学習問題の解決に寄与する複雑な形状を発見するために学習可能であると考えられている。
浅層学習と深層学習の両フレームワークにおいて,畳み込み型および整流型シグモイド学習パラメータの連成学習により達成された性能を示す。
このクラスは、学習可能なパラメータが線形変換だけでなく、適切な非線形演算子にも関連付けられるという意味で、機械学習に関する新たな展望を開く。
関連論文リスト
- Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
非線形変換器は自然に関数空間の勾配降下を実装することを学習する。
また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
論文 参考訳（メタデータ） (2023-12-11T17:05:25Z) - Orders-of-coupling representation with a single neural network with
optimal neuron activation functions and without nonlinear parameter
optimization [0.0]
本稿では,ニューラルネットに最適なニューロン活性化機能を持たせることで,協調表現のニューラルネットワークモデルを容易に構築できることを述べる。
例としては、分子ポテンシャルエネルギー表面の表現がある。
論文 参考訳（メタデータ） (2023-02-11T06:27:26Z) - NOMAD: Nonlinear Manifold Decoders for Operator Learning [17.812064311297117]
関数空間における教師付き学習は、機械学習研究の新たな領域である。
関数空間における非線形部分多様体の有限次元表現を学習できる非線形デコーダマップを備えた新しい演算子学習フレームワークであるNOMADについて述べる。
論文 参考訳（メタデータ） (2022-06-07T19:52:44Z) - Decoupling multivariate functions using a nonparametric filtered tensor
decomposition [0.29360071145551075]
疎結合技術は、非線形性の代替表現を提供することを目的としている。
いわゆる疎結合形式はしばしば、高度に構造化され、解釈可能性を好む一方で、関係のより効率的なパラメータ化である。
本研究では, 1次微分情報のフィルタテンソル分解に基づく2つの新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-23T09:34:17Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。
この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文 参考訳（メタデータ） (2021-07-14T03:03:56Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳（メタデータ） (2020-08-16T16:34:33Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。
主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
論文 参考訳（メタデータ） (2019-06-05T07:15:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。