論文の概要: Improving Quaternion Neural Networks with Quaternionic Activation Functions
- arxiv url: http://arxiv.org/abs/2406.16481v1
- Date: Mon, 24 Jun 2024 09:36:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 15:24:04.686646
- Title: Improving Quaternion Neural Networks with Quaternionic Activation Functions
- Title（参考訳）: 四元系活性化関数を用いた四元系ニューラルネットワークの改良
- Authors: Johannes Pöppelbaum, Andreas Schwung,
- Abstract要約: 四元数等級や位相を変更できる新しい四元数活性化関数を提案する。
提案した活性化関数は、勾配降下法で訓練された任意の四元数値ニューラルネットワークに組み込むことができる。
- 参考スコア（独自算出の注目度）: 3.8750364147156247
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose novel quaternion activation functions where we modify either the quaternion magnitude or the phase, as an alternative to the commonly used split activation functions. We define criteria that are relevant for quaternion activation functions, and subsequently we propose our novel activation functions based on this analysis. Instead of applying a known activation function like the ReLU or Tanh on the quaternion elements separately, these activation functions consider the quaternion properties and respect the quaternion space $\mathbb{H}$. In particular, all quaternion components are utilized to calculate all output components, carrying out the benefit of the Hamilton product in e.g. the quaternion convolution to the activation functions. The proposed activation functions can be incorporated in arbitrary quaternion valued neural networks trained with gradient descent techniques. We further discuss the derivatives of the proposed activation functions where we observe beneficial properties for the activation functions affecting the phase. Specifically, they prove to be sensitive on basically the whole input range, thus improved gradient flow can be expected. We provide an elaborate experimental evaluation of our proposed quaternion activation functions including comparison with the split ReLU and split Tanh on two image classification tasks using the CIFAR-10 and SVHN dataset. There, especially the quaternion activation functions affecting the phase consistently prove to provide better performance.
- Abstract（参考訳）: 本稿では、よく使われる分割活性化関数の代替として、四元数等級または位相を変更できる新しい四元数活性化関数を提案する。
四元数活性化関数に関連する基準を定義し,この分析に基づいて新しい活性化関数を提案する。
ReLU や Tanh のような既知の活性化関数を四元数要素に別々に適用する代わりに、これらの活性化関数は四元数の性質を考慮し、四元数空間 $\mathbb{H}$ を尊重する。
特に、全ての四元数成分を用いて全ての出力成分を計算し、例えば四元数畳み込みを活性化関数へ向けてハミルトン積の利点を実行する。
提案した活性化関数は、勾配降下法で訓練された任意の四元数値ニューラルネットワークに組み込むことができる。
さらに, 活性化関数の導関数について考察し, 位相に影響を及ぼす活性化関数に対して有益な特性を観察する。
具体的には、基本的には入力範囲全体に敏感であることを証明し、改良された勾配流を期待できる。
CIFAR-10とSVHNデータセットを用いた2つの画像分類課題における分割ReLUと分割Tanhとの比較を含む,提案した四元数活性化関数の実験的評価を行った。
そこでは、特に位相に影響を及ぼす四元数活性化関数は、常により良い性能をもたらすことを証明している。
関連論文リスト
- Parametric Leaky Tanh: A New Hybrid Activation Function for Deep
Learning [0.0]
活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である
本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。
PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
論文 参考訳（メタデータ） (2023-08-11T08:59:27Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - LayerAct: Advanced activation mechanism utilizing layer-direction
normalization for CNNs with BatchNorm [3.413632819633068]
LayerAct 関数は、既存の要素レベルのアクティベーション関数よりもノイズが強いように設計されている。
また,LayerAct関数は,素子レベルのアクティベーション関数よりも優れたノイズ・ロバスト性を示すことを示す。
論文 参考訳（メタデータ） (2023-06-08T05:13:34Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Special functions in quantum phase estimation [61.12008553173672]
一つは球面波動関数のプロレーションであり、これは真パラメータと推定値の差が一定の閾値より小さい最大確率を与える。
もう1つはマチュー関数であり、エネルギー制約の下での最適推定を正確に与えている。
論文 参考訳（メタデータ） (2023-02-14T08:33:24Z) - Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。
これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。
提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
論文 参考訳（メタデータ） (2022-10-17T13:32:52Z) - Transformers with Learnable Activation Functions [63.98696070245065]
我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。
RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
論文 参考訳（メタデータ） (2022-08-30T09:47:31Z) - Gate-based spin readout of hole quantum dots with site-dependent
$g-$factors [101.23523361398418]
ゲート型反射率計を用いたスピンリードアウトによりシリコン中の二重量子ドットを実験的に検討した。
磁気分光法により生じる反射位相信号の特徴は,2点のサイト依存の$g-$factorに関する情報を伝達する。
論文 参考訳（メタデータ） (2022-06-27T09:07:20Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Activation Functions: Dive into an optimal activation function [1.52292571922932]
既存のアクティベーション関数の重み付け和として定義することで、最適なアクティベーション関数を求める。
この研究は、ReLU、tanh、 sinという3つのアクティベーション関数を3つの人気のある画像データセットに使用しています。
論文 参考訳（メタデータ） (2022-02-24T12:44:11Z) - An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。
実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
論文 参考訳（メタデータ） (2020-11-11T07:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。