Fugu-MT 論文翻訳(概要): Neural networks with trainable matrix activation functions

論文の概要: Neural networks with trainable matrix activation functions

arxiv url: http://arxiv.org/abs/2109.09948v1
Date: Tue, 21 Sep 2021 04:11:26 GMT
ステータス: 処理完了
システム内更新日: 2021-09-22 14:16:46.991901
Title: Neural networks with trainable matrix activation functions
Title（参考訳）: トレーサブルマトリックス活性化関数を用いたニューラルネットワーク
Authors: Zhengqi Liu and Yuwen Li and Ludmil Zikatanov
Abstract要約: 本研究では、ReLUからエントリを一般化した行列活性化関数を構築するための体系的なアプローチを開発する。提案した活性化関数は、重みとバイアスベクトルとともに訓練されたパラメータに依存する。
参考スコア（独自算出の注目度）: 1.1602089225841632
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The training process of neural networks usually optimize weights and bias parameters of linear transformations, while nonlinear activation functions are pre-specified and fixed. This work develops a systematic approach to constructing matrix activation functions whose entries are generalized from ReLU. The activation is based on matrix-vector multiplications using only scalar multiplications and comparisons. The proposed activation functions depend on parameters that are trained along with the weights and bias vectors. Neural networks based on this approach are simple and efficient and are shown to be robust in numerical experiments.
Abstract（参考訳）: ニューラルネットワークのトレーニングプロセスは通常、線形変換の重みとバイアスパラメータを最適化するが、非線形活性化関数は事前に指定され固定されている。本研究は、エントリをreluから一般化した行列活性化関数を構築するための体系的アプローチを展開する。この活性化はスカラー乗算と比較のみを用いた行列ベクトル乗法に基づいている。提案する活性化関数は、重みとバイアスベクトルと共に訓練されるパラメータに依存する。このアプローチに基づくニューラルネットワークはシンプルで効率的であり、数値実験で堅牢であることが示されている。

関連論文リスト

Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions [2.088583843514496]
混合整数計画法(MIP)を用いたニューラルネットワーク検証手法を提案する。ネットワーク内の各ニューロンに対して一方向線形活性化関数を用いた強い定式化を導出する。また、入力次元において超線形時間で実行される分離手順を導出する。
論文参考訳（メタデータ） (2022-11-27T03:25:48Z)
A Tutorial on Neural Networks and Gradient-free Training [0.0]
本稿では,自己完結型チュートリアル方式で,ニューラルネットワークのコンパクトな行列ベース表現を提案する。ニューラルネットワークは数個のベクトル値関数を構成する数学的非線形関数である。
論文参考訳（メタデータ） (2022-11-26T15:33:11Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Consensus Function from an $L_p^q-$norm Regularization Term for its Use as Adaptive Activation Functions in Neural Networks [0.0]
本稿では,学習過程においてその形状に適応する暗黙的,パラメトリックな非線形活性化関数の定義と利用を提案する。この事実は、ネットワーク内で最適化するパラメータの空間を増大させるが、柔軟性を高め、ニューラルネットワークの概念を一般化する。予備的な結果は、この種の適応的アクティベーション関数によるニューラルネットワークの使用は、回帰や分類の例における誤差を減少させることを示している。
論文参考訳（メタデータ） (2022-06-30T04:48:14Z)
Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文参考訳（メタデータ） (2022-01-31T13:02:41Z)
Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文参考訳（メタデータ） (2021-07-29T23:32:15Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文参考訳（メタデータ） (2020-10-28T14:28:24Z)
Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文参考訳（メタデータ） (2020-02-08T21:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。