Fugu-MT 論文翻訳(概要): PReLU: Yet Another Single-Layer Solution to the XOR Problem

論文の概要: PReLU: Yet Another Single-Layer Solution to the XOR Problem

arxiv url: http://arxiv.org/abs/2409.10821v1
Date: Tue, 17 Sep 2024 01:28:40 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 18:20:31.779355
Title: PReLU: Yet Another Single-Layer Solution to the XOR Problem
Title（参考訳）: PRELU:XOR問題に対するもう1つのシングルレイヤソリューション
Authors: Rafael C. Pinto, Anderson R. Tavares,
Abstract要約: 本稿では,Parametric Rectified Linear Unit (PReLU) を用いた単一層ニューラルネットワークが,XOR問題を解くことができることを示す。以上の結果から, 単層PRELUネットワークは, より広範な学習率で100%の成功率を達成することができることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper demonstrates that a single-layer neural network using Parametric Rectified Linear Unit (PReLU) activation can solve the XOR problem, a simple fact that has been overlooked so far. We compare this solution to the multi-layer perceptron (MLP) and the Growing Cosine Unit (GCU) activation function and explain why PReLU enables this capability. Our results show that the single-layer PReLU network can achieve 100\% success rate in a wider range of learning rates while using only three learnable parameters.
Abstract（参考訳）: 本稿では,Parametric Rectified Linear Unit (PReLU) を用いた単一層ニューラルネットワークが,これまで見過ごされてきた単純な事実であるXOR問題を解くことができることを示す。この解を多層パーセプトロン(MLP)とGCU(Growing Cosine Unit)のアクティベーション関数と比較し,なぜPRELUがこの機能を実現するのかを説明する。以上の結果から,学習可能な3つのパラメータのみを用いながら,より広い学習率で1層PRELUネットワークを100倍の成功率で達成できることが示唆された。

関連論文リスト

Activation function optimization method: Learnable series linear units (LSLUs) [12.089173508371246]
LSLU (Learnable Series Linear Units) と呼ばれる直列学習可能なac-tivation関数を提案する。この方法は、精度を向上しつつ、ディープラーニングネットワークを単純化する。 CIFAR10, CIFAR100および特定のタスクデータセット(例えばSilkworm)上でのLSLUの性能を評価する。
論文参考訳（メタデータ） (2024-08-28T11:12:27Z)
ReLU$^2$ Wins: Discovering Efficient Activation Functions for Sparse LLMs [91.31204876440765]
本稿では、ニューロンの出力の等級と調整された等級しきい値によってニューロンの活性化を定義する一般的な方法を提案する。スパース計算における最も効率的なアクティベーション関数を見つけるために,本手法を提案する。我々は、ReLU、SwiGLU、ReGLU、ReLU$2$といった異なるアクティベーション機能を利用したLCMの徹底的な実験を行う。
論文参考訳（メタデータ） (2024-02-06T08:45:51Z)
Robustly Learning a Single Neuron via Sharpness [45.40045240987339]
対向ラベルノイズの存在下で1つのニューロンをL2$-lossで学習する問題について検討した。我々は、ReLUを含む幅広いアクティベーションに対して、定数係数内で最適な$L2$-errorを近似する効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-06-13T16:34:02Z)
Delaunay-Triangulation-Based Learning with Hessian Total-Variation Regularization [21.69222364939501]
本稿では,CPWL関数の表現性を利用した代替手法を提案する。提案手法は,デラウネー三角測量によるCPWL関数の領域分割に依存する。本実験は,低次元シナリオにおける本手法の有効性を検証する。
論文参考訳（メタデータ） (2022-08-16T14:55:05Z)
AMS-Net: Adaptive Multiscale Sparse Neural Network with Interpretable Basis Expansion for Multiphase Flow Problems [8.991619150027267]
本研究では、物理過程の学習に応用可能な適応スパース学習アルゴリズムを提案し、大きなスナップショット空間を与えられた解のスパース表現を得る。基本関数の情報は損失関数に組み込まれており、複数の時間ステップにおけるダウンスケール縮小次数解と参照解との差を最小限に抑える。複雑なアプリケーションにおける提案手法の有効性と解釈性を示すため, 2相多相流問題に対してより数値的な実験を行った。
論文参考訳（メタデータ） (2022-07-24T13:12:43Z)
Deep Unsupervised Learning for Generalized Assignment Problems: A Case-Study of User-Association in Wireless Networks [11.42707683459227]
本研究では,一般化代入問題(GAP)を時間効率良く解くために,DUL(Deep Unsupervised Learning)手法を提案する。特に、カスタマイズされた損失関数を用いてディープニューラルネットワーク(DNN)のトレーニングを容易にする新しいアプローチを提案する。数値実験の結果,提案手法は最適に近い結果をもたらし,時間・複雑さが著しく低下することが示された。
論文参考訳（メタデータ） (2021-03-26T16:07:02Z)
Self Sparse Generative Adversarial Networks [73.590634413751]
GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
論文参考訳（メタデータ） (2021-01-26T04:49:12Z)
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
論文参考訳（メタデータ） (2020-11-24T01:53:39Z)
Physarum Powered Differentiable Linear Programming Layers and Applications [48.77235931652611]
一般線形プログラミング問題に対する効率的かつ微分可能な解法を提案する。本稿では,ビデオセグメンテーションタスクとメタラーニングにおける問題解決手法について述べる。
論文参考訳（メタデータ） (2020-04-30T01:50:37Z)
Refined Gate: A Simple and Effective Gating Mechanism for Recurrent Units [68.30422112784355]
本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。 LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
論文参考訳（メタデータ） (2020-02-26T07:51:38Z)
Gaussian Error Linear Units (GELUs) [58.195342948092964]
本稿では,入力の重み付けを行うニューラルネットワークアクティベーション関数を提案する。コンピュータビジョン、自然言語処理、音声タスクのすべてにおいて、パフォーマンスが改善されている。
論文参考訳（メタデータ） (2016-06-27T19:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。