論文の概要: Squashing activation functions in benchmark tests: towards eXplainable
Artificial Intelligence using continuous-valued logic
- arxiv url: http://arxiv.org/abs/2010.08760v1
- Date: Sat, 17 Oct 2020 10:42:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-10-06 09:12:00.157279
- Title: Squashing activation functions in benchmark tests: towards eXplainable
Artificial Intelligence using continuous-valued logic
- Title（参考訳）: ベンチマークテストにおけるアクティベーション機能--連続値論理を用いたeXplainable Artificial Intelligenceに向けて
- Authors: Daniel Zeltner, Benedikt Schmid, Gabor Csiszar, Orsolya Csiszar
- Abstract要約: この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。
ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。
その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 分類問題を解くことが可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past few years, deep neural networks have shown excellent results in
multiple tasks, however, there is still an increasing need to address the
problem of interpretability to improve model transparency, performance, and
safety. Achieving eXplainable Artificial Intelligence (XAI) by combining neural
networks with continuous logic and multi-criteria decision-making tools is one
of the most promising ways to approach this problem: by this combination, the
black-box nature of neural models can be reduced. The continuous logic-based
neural model uses so-called Squashing activation functions, a parametric family
of functions that satisfy natural invariance requirements and contain rectified
linear units as a particular case. This work demonstrates the first benchmark
tests that measure the performance of Squashing functions in neural networks.
Three experiments were carried out to examine their usability and a comparison
with the most popular activation functions was made for five different network
types. The performance was determined by measuring the accuracy, loss, and time
per epoch. These experiments and the conducted benchmarks have proven that the
use of Squashing functions is possible and similar in performance to
conventional activation functions. Moreover, a further experiment was conducted
by implementing nilpotent logical gates to demonstrate how simple
classification tasks can be solved successfully and with high performance. The
results indicate that due to the embedded nilpotent logical operators and the
differentiability of the Squashing function, it is possible to solve
classification problems, where other commonly used activation functions fail.
- Abstract（参考訳）: 過去数年間、ディープニューラルネットワークは複数のタスクにおいて優れた結果を示してきたが、モデルの透明性、パフォーマンス、安全性を改善するための解釈可能性の問題に対処する必要性が高まっている。
ニューラルネットワークと連続論理とマルチ基準決定ツールを組み合わせることで、eXplainable Artificial Intelligence(XAI)を実現することが、この問題に対処する最も有望な方法の1つだ。
連続論理に基づくニューラルモデルは、自然な不変条件を満たすパラメトリックな関数群であり、特定のケースとして整列線形単位を含むいわゆるスクアッシングアクティベーション関数を使用する。
この研究は、ニューラルネットワークにおけるスカッシング関数のパフォーマンスを測定する最初のベンチマークテストを示す。
ユーザビリティを調べるために3つの実験を行い、5種類のネットワークに対して最も人気のあるアクティベーション関数との比較を行った。
性能は, 年代ごとの精度, 損失, 時間を測定することで決定された。
これらの実験とベンチマークにより、従来のアクティベーション関数と性能が類似していることが証明された。
さらに, 単純な分類タスクがいかにうまく, 高い性能で解けるかを実証するために, 零度論理ゲートを実装した実験を行った。
その結果, 組込み零度論理演算子とスクアッシング関数の微分可能性により, 他のよく用いられる活性化関数が失敗する分類問題を解くことができることがわかった。
関連論文リスト
- Adaptive Activation Functions for Predictive Modeling with Sparse
Experimental Data [2.012425476229879]
本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。
本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
論文 参考訳（メタデータ） (2024-02-08T04:35:09Z) - The limitation of neural nets for approximation and optimization [0.0]
最適化問題における目的関数の近似と最小化のために,ニューラルネットワークを代理モデルとして用いることに関心がある。
本研究は、一般的な非線形最適化テスト問題の目的関数を近似する最適なアクティベーション関数を決定することから始まる。
論文 参考訳（メタデータ） (2023-11-21T00:21:15Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Stochastic Adaptive Activation Function [1.9199289015460212]
本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。
実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
論文 参考訳（メタデータ） (2022-10-21T01:57:25Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳（メタデータ） (2021-04-07T03:50:11Z) - A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-23T20:33:13Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。