論文の概要: Semiring Activation in Neural Networks

• arxiv url: http://arxiv.org/abs/2405.18805v2
• Date: Fri, 5 Jul 2024 07:45:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 22:54:33.708462
• Title: Semiring Activation in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるセミリング活性化
• Authors: Bart M. N. Smets, Peter D. Donker, Jim W. Portegies, Remco Duits,
• Abstract要約: ニューラルネットワークでの使用に適したセミリングに基づいて、トレーニング可能な非線形演算子のクラスを導入する。 トレーニング可能なセミリング演算子のアクティベーション関数を置き換える実験を行い、これらが完全に接続されたネットワークに組み込むことができることを示す。
• 参考スコア（独自算出の注目度）: 0.1874930567916036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a class of trainable nonlinear operators based on semirings that are suitable for use in neural networks. These operators generalize the traditional alternation of linear operators with activation functions in neural networks. Semirings are algebraic structures that describe a generalised notation of linearity, greatly expanding the range of trainable operators that can be included in neural networks. In fact, max- or min-pooling operations are convolutions in the tropical semiring with a fixed kernel. We perform experiments where we replace the activation functions for trainable semiring-based operators to show that these are viable operations to include in fully connected as well as convolutional neural networks (ConvNeXt). We discuss some of the challenges of replacing traditional activation functions with trainable semiring activations and the trade-offs of doing so.
• Abstract（参考訳）: ニューラルネットワークでの使用に適したセミリングに基づいて、トレーニング可能な非線形演算子のクラスを導入する。 これらの作用素は、ニューラルネットワークにおける活性化関数を持つ線形作用素の伝統的な交替を一般化する。 セミリング(英: Semiring)は、線形性の一般化された表記を記述する代数的構造であり、ニューラルネットワークに含まれる訓練可能な作用素の範囲を大きく広げている。 実際、最大または最小プール演算は、固定された核を持つ熱帯半環の畳み込みである。 トレーニング可能なセミリング演算子の活性化関数を置き換える実験を行い、これらが完全に接続されただけでなく畳み込みニューラルネットワーク(ConvNeXt)にも適用可能であることを示す。 本稿では,従来のアクティベーション関数をトレーニング可能なセミリングアクティベーションに置き換えることの課題と,そのトレードオフについて論じる。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証の最も効果的な方法の一つである。 我々は、一般的な計算グラフにおける一般的な非線形性に対してBaBを実行するための一般的なフレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つネットワークを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Physics-Informed Neural Operators [3.9181541460605116]
  ニューラルネットワークは一般非線形作用素を近似することができ、例えば、対流拡散反応偏微分方程式における数学的作用素の組合せによって明示的に表される。 最初の神経オペレータは、厳密な近似理論に基づいて2019年に提案されたDeepオペレータネットワーク(DeepONet)である。 ブラックボックスシステムでは、ニューラル演算子のトレーニングはデータ駆動であるが、支配方程式が分かっていれば、物理インフォームド・ニューラル演算子を開発するトレーニング中に損失関数に組み込むことができる。
  論文  参考訳（メタデータ） (2022-07-08T12:29:09Z)
• From Kernel Methods to Neural Networks: A Unifying Variational Formulation [25.6264886382888]
  演算子と一般ラドン領域ノルムに依存する統一正規化関数を提案する。 我々のフレームワークは、多種多様な正規化演算子、または同等に、幅広い浅層ニューラルネットワークに対して、普遍的な近似を保証する。
  論文  参考訳（メタデータ） (2022-06-29T13:13:53Z)
• MIONet: Learning multiple-input operators via tensor product [2.5426761219054312]
  バナッハ空間の積上で定義された複数入力演算子に対するニューラルネットワークによる演算子の回帰について検討する。 我々の理論と低ランク近似に基づいて、我々は新しいニューラル演算子、MIONetを提案し、複数入力演算子を学習する。
  論文  参考訳（メタデータ） (2022-02-12T20:37:04Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
  ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。 我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
  論文  参考訳（メタデータ） (2020-04-24T14:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。