Fugu-MT 論文翻訳(概要): Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks

論文の概要: Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks

arxiv url: http://arxiv.org/abs/2012.01935v2
Date: Sat, 20 Nov 2021 17:24:36 GMT
ステータス: 処理完了
システム内更新日: 2022-09-21 01:52:09.219014
Title: Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks
Title（参考訳）: 相関ファジィニューラルネットワークのバックプロパゲーションフリー学習法
Authors: Armin Salimi-Badr and Mohammad Mehdi Ebadzadeh
Abstract要約: 本稿では,所望の前提部品の出力を推定し,段階的に学習する手法を提案する。前提部品のパラメータを学習するために出力エラーをバックプロパゲートする必要はない。実世界の時系列予測と回帰問題に適用できる。
参考スコア（独自算出の注目度）: 2.1320960069210475
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, a novel stepwise learning approach based on estimating desired premise parts' outputs by solving a constrained optimization problem is proposed. This learning approach does not require backpropagating the output error to learn the premise parts' parameters. Instead, the near best output values of the rules premise parts are estimated and their parameters are changed to reduce the error between current premise parts' outputs and the estimated desired ones. Therefore, the proposed learning method avoids error backpropagation, which lead to vanishing gradient and consequently getting stuck in a local optimum. The proposed method does not need any initialization method. This learning method is utilized to train a new Takagi-Sugeno-Kang (TSK) Fuzzy Neural Network with correlated fuzzy rules including many parameters in both premise and consequent parts, avoiding getting stuck in a local optimum due to vanishing gradient. To learn the proposed network parameters, first, a constrained optimization problem is introduced and solved to estimate the desired values of premise parts' output values. Next, the error between these values and the current ones is utilized to adapt the premise parts' parameters based on the gradient-descent (GD) approach. Afterward, the error between the desired and network's outputs is used to learn consequent parts' parameters by the GD method. The proposed paradigm is successfully applied to real-world time-series prediction and regression problems. According to experimental results, its performance outperforms other methods with a more parsimonious structure.
Abstract（参考訳）: 本稿では,制約付き最適化問題を解くことで所望の前提部分の出力を推定する新しいステップワイズ学習手法を提案する。この学習アプローチでは、前提部品のパラメータを学習するために出力エラーを逆伝搬する必要はない。代わりに、ルール前提部分のほぼ最良出力値を推定し、そのパラメータを変更し、現在の前提部分の出力と推定された所望の出力との間の誤差を低減する。そこで,提案手法は誤差の逆伝播を回避し,これにより勾配が消え,その結果局所的な最適値に留まる。提案手法は初期化法を必要としない。この学習方法は、前提部分と系列部分の両方に多くのパラメータを含むファジィルールを関連付けた新しい高木sugeno-kang(tsk)ファジィニューラルネットワークを訓練するために利用し、消失勾配による局所最適状態への立ち往生を回避している。提案するネットワークパラメータを学習するために、まず制約付き最適化問題を導入し、前提部品の出力値の所望の値を推定する。次に、これらの値と現在の値との誤差を利用して、勾配-退化(GD)アプローチに基づいて前提部品のパラメータを適応させる。その後、所望の出力とネットワークの出力との誤差を用いて、GD法により連続部分のパラメータを学習する。提案手法は実世界の時系列予測と回帰問題にうまく適用できる。実験結果によると、その性能はより類似した構造を持つ他の手法よりも優れている。

関連論文リスト

Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
Adaptive operator learning for infinite-dimensional Bayesian inverse problems [7.716833952167609]
本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。 UKIフレームワークを用いて線形の場合において厳密な収束を保証する。その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
論文参考訳（メタデータ） (2023-10-27T01:50:33Z)
DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
論文参考訳（メタデータ） (2023-08-11T00:44:46Z)
Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文参考訳（メタデータ） (2023-02-24T10:32:30Z)
Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文参考訳（メタデータ） (2022-12-25T15:40:05Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文参考訳（メタデータ） (2022-07-08T18:17:06Z)
AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization [14.531550983885772]
本稿では,学生のt分布を取り入れた新しいアプローチであるAdaTermを提案する。これは最適化プロセスの統一的な処理を提供し、初めてt分布の統計モデルの下で包括的なフレームワークを提供する。
論文参考訳（メタデータ） (2022-01-18T03:13:19Z)
De-homogenization using Convolutional Neural Networks [1.0323063834827415]
本稿では,構造コンプライアンス最小化のための深層学習に基づく非均質化手法を提案する。パラメータの適切な選択のために、非均質化設計は、均質化に基づく解の7-25%以内で実行される。
論文参考訳（メタデータ） (2021-05-10T09:50:06Z)
Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。我々はこれらの現象を具体的原理で補うと推測する。
論文参考訳（メタデータ） (2021-03-16T16:26:36Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。