論文の概要: Introducing the DOME Activation Functions

• arxiv url: http://arxiv.org/abs/2109.14798v1
• Date: Thu, 30 Sep 2021 01:56:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 15:06:39.665605
• Title: Introducing the DOME Activation Functions
• Title（参考訳）: DOME活性化機能の紹介
• Authors: Mohamed E. Hussein and Wael AbdAlmageed
• Abstract要約: 本稿では,ニューラルネットワークの埋め込み空間におけるクラスコンパクト性と正規化を自然に誘導する非線形活性化関数を提案する。 この関数の基本形は、二項分類問題に対する出力活性化関数としてシグモイドあるいは双曲接形関数を置き換えることができる。
• 参考スコア（独自算出の注目度）: 20.516347647550987
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a novel non-linear activation function that spontaneously induces class-compactness and regularization in the embedding space of neural networks. The function is dubbed DOME for Difference Of Mirrored Exponential terms. The basic form of the function can replace the sigmoid or the hyperbolic tangent functions as an output activation function for binary classification problems. The function can also be extended to the case of multi-class classification, and used as an alternative to the standard softmax function. It can also be further generalized to take more flexible shapes suitable for intermediate layers of a network. In this version of the paper, we only introduce the concept. In a subsequent version, experimental evaluation will be added.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの埋め込み空間におけるクラスコンパクト性と正規化を自然に誘導する非線形活性化関数を提案する。 この関数はDOME of Mirrored Exponentialという用語で呼ばれる。 この関数の基本形は、二項分類問題に対する出力活性化関数としてシグモイドあるいは双曲接形関数を置き換えることができる。 この関数は、多クラス分類の場合にも拡張でき、標準のsoftmax関数の代替として使うことができる。 さらに、ネットワークの中間層に適したより柔軟な形状を取るように一般化することもできる。 この記事のこのバージョンでは、概念のみを紹介します。 その後のバージョンでは、実験的評価が追加される。

関連論文リスト

• Your Network May Need to Be Rewritten: Network Adversarial Based on High-Dimensional Function Graph Decomposition [0.994853090657971]
  本稿では,上記の課題に対処するネットワーク敵手法を提案する。 これはネットワーク内で異なるアクティベーション関数を使用する最初の方法である。 トレーニング効率と予測精度の両面で,標準的なアクティベーション機能よりも大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-04T11:22:30Z)
• Functional Diffusion [55.251174506648454]
  本稿では,関数拡散と呼ばれる新しい生成拡散モデルを提案する。 汎函数拡散は古典的拡散モデルの無限次元領域への拡張と見なすことができる。 3次元表面上で定義された複雑な符号付き距離関数と変形関数の生成結果を示す。
  論文  参考訳（メタデータ） (2023-11-26T21:35:34Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Unification of popular artificial neural network activation functions [0.0]
  本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。 分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T21:20:59Z)
• Data-aware customization of activation functions reduces neural network error [0.35172332086962865]
  本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。 既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
  論文  参考訳（メタデータ） (2023-01-16T23:38:37Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• A survey on modern trainable activation functions [0.0]
  本稿では,訓練可能なアクティベーション関数の分類法を提案し,近年のモデルと過去のモデルの共通性と特異性を強調した。 提案手法の多くは、固定的な(訓練不能な)アクティベーション関数を使用するニューロン層の追加と等価であることを示す。
  論文  参考訳（メタデータ） (2020-05-02T12:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。