論文の概要: Training Neural Networks Using the Property of Negative Feedback to
Inverse a Function
- arxiv url: http://arxiv.org/abs/2103.14115v1
- Date: Thu, 25 Mar 2021 20:13:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 01:37:54.710122
- Title: Training Neural Networks Using the Property of Negative Feedback to
Inverse a Function
- Title（参考訳）: 逆関数に対する負フィードバック特性を用いたニューラルネットワークの学習
- Authors: Md Munir Hasan and Jeremy Holleman
- Abstract要約: 本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。
本手法をMNISTデータセットに適用し,ニューラルネットワークのトレーニングに有効であることを示す結果を得た。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With high forward gain, a negative feedback system has the ability to perform
the inverse of a linear or non linear function that is in the feedback path.
This property of negative feedback systems has been widely used in analog
circuits to construct precise closed-loop functions. This paper describes how
the property of a negative feedback system to perform inverse of a function can
be used for training neural networks. This method does not require that the
cost or activation functions be differentiable. Hence, it is able to learn a
class of non-differentiable functions as well where a gradient descent-based
method fails. We also show that gradient descent emerges as a special case of
the proposed method. We have applied this method to the MNIST dataset and
obtained results that shows the method is viable for neural network training.
This method, to the best of our knowledge, is novel in machine learning.
- Abstract（参考訳）: 高フォワードゲインでは、負のフィードバックシステムは、フィードバックパスにある線形または非線型関数の逆を実行することができる。
この負のフィードバックシステムの特性は、正確な閉ループ関数を構築するためにアナログ回路で広く用いられている。
本稿では,関数の逆解析を行う負のフィードバックシステムの特性をニューラルネットワークのトレーニングに利用する方法について述べる。
この方法は、コストやアクティベーション関数が微分可能である必要はない。
したがって、微分不可能な関数のクラスを学ぶことができ、勾配降下に基づく手法が失敗する。
また,提案手法の特別な場合として勾配降下が出現することを示した。
本手法をmnistデータセットに適用し,ニューラルネットワークの学習に有効であることを示す結果を得た。
この方法は、私たちの知る限り、機械学習において新しいものです。
関連論文リスト
- Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。
このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
論文 参考訳（メタデータ） (2023-07-11T11:53:25Z) - Koopman operator learning using invertible neural networks [0.6846628460229516]
クープマン作用素論において、有限次元非線形系は可観測関数の集合を用いて無限だが線型系に変換される。
現在の方法論は可観測関数の可逆性の重要性を無視し、不正確な結果をもたらす傾向にある。
本稿では,CF-INN(Coupling Flow Invertible Neural Network)フレームワークを利用したフローベース動的モード分解(FlowDMD)を提案する。
論文 参考訳（メタデータ） (2023-06-30T04:26:46Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - The Forward-Forward Algorithm: Some Preliminary Investigations [91.3755431537592]
フォワード・フォワードアルゴリズムは、フォワードパスとフォワードパスを2つのフォワードパスで置き換える。
正のパスと負のパスが時間内に分離できれば、負のパスはオフラインで行うことができる。
論文 参考訳（メタデータ） (2022-12-27T02:54:46Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Learning Linearized Assignment Flows for Image Labeling [70.540936204654]
画像ラベリングのための線形化代入フローの最適パラメータを推定するための新しいアルゴリズムを提案する。
この式をKrylov部分空間と低ランク近似を用いて効率的に評価する方法を示す。
論文 参考訳（メタデータ） (2021-08-02T13:38:09Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。
完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-23T20:33:13Z) - Estimating Multiplicative Relations in Neural Networks [0.0]
対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。
いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
論文 参考訳（メタデータ） (2020-10-28T14:28:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。