論文の概要: Logical Activation Functions: Logit-space equivalents of Boolean
Operators
- arxiv url: http://arxiv.org/abs/2110.11940v1
- Date: Fri, 22 Oct 2021 17:49:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-25 13:45:26.357152
- Title: Logical Activation Functions: Logit-space equivalents of Boolean
Operators
- Title（参考訳）: 論理活性化関数:ブール作用素のロジット空間同値
- Authors: Scott C. Lowe, Robert Earle, Jason d'Eon, Thomas Trappenberg, Sageev
Oore
- Abstract要約: ニューラルネットワークのアクティベーション関数としてデプロイ可能な,$textAND_textAIL$という効率的な近似を導入する。
画像分類,伝達学習,抽象的推論,合成ゼロショット学習など,様々なタスクにおいて有効性を示す。
- 参考スコア（独自算出の注目度）: 4.577830474623795
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neuronal representations within artificial neural networks are commonly
understood as logits, representing the log-odds score of presence (versus
absence) of features within the stimulus. Under this interpretation, we can
derive the probability $P(x_0 \land x_1)$ that a pair of independent features
are both present in the stimulus from their logits. By converting the resulting
probability back into a logit, we obtain a logit-space equivalent of the AND
operation. However, since this function involves taking multiple exponents and
logarithms, it is not well suited to be directly used within neural networks.
We thus constructed an efficient approximation named $\text{AND}_\text{AIL}$
(the AND operator Approximate for Independent Logits) utilizing only comparison
and addition operations, which can be deployed as an activation function in
neural networks. Like MaxOut, $\text{AND}_\text{AIL}$ is a generalization of
ReLU to two-dimensions. Additionally, we constructed efficient approximations
of the logit-space equivalents to the OR and XNOR operators. We deployed these
new activation functions, both in isolation and in conjunction, and
demonstrated their effectiveness on a variety of tasks including image
classification, transfer learning, abstract reasoning, and compositional
zero-shot learning.
- Abstract（参考訳）: 人工神経ネットワーク内の神経表現は、一般にロジットとして理解され、刺激内の特徴の対数(対数不在)スコアを表す。
この解釈の下では、一対の独立な特徴がそれぞれの対から刺激を受ける確率$P(x_0 \land x_1)$を導出することができる。
結果の確率をロジットに変換することにより、AND演算に相当するロジット空間を得る。
しかし、この関数は複数の指数と対数を取るため、ニューラルネットワーク内で直接使用されるのが適していない。
そこで我々は,ニューラルネットワークのアクティベーション関数としてデプロイ可能な比較および加算操作のみを利用して,$\text{AND}_\text{AIL}$ (AND演算子 Approximate for Independent Logits) という効率的な近似を構築した。
MaxOut と同様、$\text{AND}_\text{AIL}$ は ReLU の 2次元への一般化である。
さらに,ORおよびXNOR演算子に対するロジット空間等価性の効率的な近似を構築した。
画像分類,移動学習,抽象推論,合成ゼロショット学習など,さまざまなタスクにおいて,これらの新たなアクティベーション関数を分離および協調的に展開し,その効果を実証した。
関連論文リスト
- Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳（メタデータ） (2024-02-26T18:59:31Z) - MgNO: Efficient Parameterization of Linear Operators via Multigrid [4.096453902709292]
我々は、ニューロン間の線形演算子をパラメータ化するために多重格子構造を利用するMgNOを紹介する。
MgNOは、他のCNNベースのモデルと比べてトレーニングの容易さが優れている。
論文 参考訳（メタデータ） (2023-10-16T13:01:35Z) - STL: A Signed and Truncated Logarithm Activation Function for Neural
Networks [5.9622541907827875]
活性化関数はニューラルネットワークにおいて重要な役割を果たす。
本稿では,アクティベーション関数として符号付きおよび切り離された対数関数を提案する。
提案された活性化関数は、広範囲のニューラルネットワークに適用できる。
論文 参考訳（メタデータ） (2023-07-31T03:41:14Z) - Data-aware customization of activation functions reduces neural network
error [0.35172332086962865]
本稿では,データ認識によるアクティベーション関数のカスタマイズにより,ニューラルネットワークのエラーが大幅に低減されることを示す。
既に精製されたニューラルネットワークにおけるカモメの活性化機能への簡単な置換は、エラーのオーダー・オブ・マグニチュードの低減につながる可能性がある。
論文 参考訳（メタデータ） (2023-01-16T23:38:37Z) - Provable General Function Class Representation Learning in Multitask
Bandits and MDPs [58.624124220900306]
マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。
本研究では,解析結果を一般関数クラス表現に拡張する。
バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
論文 参考訳（メタデータ） (2022-05-31T11:36:42Z) - MIONet: Learning multiple-input operators via tensor product [2.5426761219054312]
バナッハ空間の積上で定義された複数入力演算子に対するニューラルネットワークによる演算子の回帰について検討する。
我々の理論と低ランク近似に基づいて、我々は新しいニューラル演算子、MIONetを提案し、複数入力演算子を学習する。
論文 参考訳（メタデータ） (2022-02-12T20:37:04Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。
いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文 参考訳（メタデータ） (2020-10-28T14:28:24Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。