論文の概要: First Power Linear Unit with Sign
- arxiv url: http://arxiv.org/abs/2111.14349v1
- Date: Mon, 29 Nov 2021 06:47:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 17:03:45.889503
- Title: First Power Linear Unit with Sign
- Title(参考訳): 符号付き第1パワーリニアユニット
- Authors: Boxi Duan
- Abstract要約: バイオニクスの直感的な意味を持ちながら、一般的な逆操作によって啓蒙される。
PFPLUSと呼ばれるより一般化された型に表される関数を2つのパラメータで拡張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel and insightful activation method termed FPLUS,
which exploits mathematical power function with polar signs in form. It is
enlightened by common inverse operation while endowed with an intuitive meaning
of bionics. The formulation is derived theoretically under conditions of some
prior knowledge and anticipative properties, and then its feasibility is
verified through a series of experiments using typical benchmark datasets,
whose results indicate our approach owns superior competitiveness among
numerous activation functions, as well as compatible stability across many CNN
architectures. Furthermore, we extend the function presented to a more
generalized type called PFPLUS with two parameters that can be fixed or
learnable, so as to augment its expressive capacity, and outcomes of identical
tests validate this improvement.
- Abstract(参考訳): ポーラサインを形式化した数学的パワー関数を利用するFPLUSという,新規で洞察に富んだアクティベーション手法を提案する。
ビオニクスの直感的な意味を与えながら、共通の逆操作によって啓蒙される。
この定式化は、理論上、いくつかの事前知識と予測特性の条件の下で導出され、その実現可能性は、典型的なベンチマークデータセットを用いた一連の実験によって検証される。
さらに,より一般化されたpfplus型に対して,固定あるいは学習可能なパラメータを2つ備えた関数を拡張し,その表現能力を高め,同一テストの結果がこの改善を検証した。
関連論文リスト
- Tripod: Three Complementary Inductive Biases for Disentangled Representation Learning [52.70210390424605]
本研究では,文献から選択した3つの帰納バイアスを持つニューラルネットワークオートエンコーダを提案する。
しかし、実際には、これらの帰納バイアスをインスタンス化する既存の技術を組み合わせることは、大きな利益をもたらすことに失敗する。
学習問題を単純化する3つの手法に適応し、不変性を安定化する鍵正則化項とクォーシュ縮退インセンティブを提案する。
結果のモデルであるTripodは、4つのイメージアンタングルメントベンチマークのスイートで最先端の結果を得る。
論文 参考訳(メタデータ) (2024-04-16T04:52:41Z) - EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。
意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。
意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
論文 参考訳(メタデータ) (2024-03-26T14:18:43Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳(メタデータ) (2022-11-28T17:36:41Z) - A Flexible Approach for Normal Approximation of Geometric and
Topological Statistics [8.658596218544774]
双対あるいはポアソン点過程の安定化関数のクラスに対する正規近似結果を導出する。
このフレキシブルな概念と強い安定化の理論を組み合わせて結果を確立する。
論文 参考訳(メタデータ) (2022-10-19T17:36:50Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - BEAUTY Powered BEAST [5.423841802973231]
本研究は,UniformiTY (BEAUTY) の2成分拡張近似を用いた分布自由性試験である。
この理論は、特定の対称性統計形式からの近似を通じて、多くの重要な独立性テストの統一を可能にする。
頑健なパワーを達成するため,データ適応重みを用いた試験統計をBEAST(Binary Expansion Adaptive Symmetry Test)と呼ぶ。
論文 参考訳(メタデータ) (2021-03-01T00:36:15Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。
実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
論文 参考訳(メタデータ) (2020-11-11T07:32:18Z) - Squashing activation functions in benchmark tests: towards eXplainable
Artificial Intelligence using continuous-valued logic [0.0]
この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。
ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。
その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 分類問題を解くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2020-10-17T10:42:40Z) - AMITE: A Novel Polynomial Expansion for Analyzing Neural Network
Nonlinearities [1.8761314918771685]
多項式展開はニューラルネットワークの非線形性の解析において重要である。
既存のアプローチは古典的なテイラー法とチェビシェフ法にまたがる。
これらの性質をすべて拡張した一貫した方法を提供するアプローチは存在しない。
論文 参考訳(メタデータ) (2020-07-13T07:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。