論文の概要: An Interpretable Constructive Algorithm for Incremental Random Weight
Neural Networks and Its Application
- arxiv url: http://arxiv.org/abs/2307.00185v1
- Date: Sat, 1 Jul 2023 01:07:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 17:33:25.150373
- Title: An Interpretable Constructive Algorithm for Incremental Random Weight
Neural Networks and Its Application
- Title(参考訳): インクリメンタルランダム重みニューラルネットワークの解釈可能な構成アルゴリズムとその応用
- Authors: Jing Nan, Wei Dai, Guan Yuan, and Ping Zhou
- Abstract要約: 本稿では,幾何的情報制約を伴う解釈可能な構成アルゴリズム(ICA)を提案する。
ICAは、モデリング速度、モデル精度、モデルネットワーク構造において、他の構築アルゴリズムよりも優れている。
- 参考スコア(独自算出の注目度): 3.725257880268641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incremental random weight neural networks (IRWNNs) have gained attention in
view of its easy implementation and fast learning. However, a significant
drawback of IRWNNs is that the elationship between the hidden parameters
(node)and the residual error (model performance) is difficult to be
interpreted. To address the above issue, this article proposes an interpretable
constructive algorithm (ICA) with geometric information constraint. First,
based on the geometric relationship between the hidden parameters and the
residual error, an interpretable geometric information constraint is proposed
to randomly assign the hidden parameters. Meanwhile, a node pool strategy is
employed to obtain hidden parameters that is more conducive to convergence from
hidden parameters satisfying the proposed constraint. Furthermore, the
universal approximation property of the ICA is proved. Finally, a lightweight
version of ICA is presented for large-scale data modeling tasks. Experimental
results on six benchmark datasets and a numerical simulation dataset
demonstrate that the ICA outperforms other constructive algorithms in terms of
modeling speed, model accuracy, and model network structure. Besides, two
practical industrial application case are used to validate the effectiveness of
ICA in practical applications.
- Abstract(参考訳): インクリメンタルランダムウェイトニューラルネットワーク(IRWNN)は、実装の容易さと学習の速さから注目されている。
しかし、irwnnsの重大な欠点は、隠れたパラメータ(ノード)と残差エラー(モデル性能)の間の溶出が解釈が難しいことである。
本稿では,幾何学的情報に制約のある解釈可能構成型アルゴリズム(ica)を提案する。
まず,隠れパラメータと残差誤差との幾何学的関係に基づいて,解釈可能な幾何情報制約を提案し,隠れパラメータをランダムに割り当てる。
一方、ノードプール戦略を用いて、提案した制約を満たす隠れパラメータから収束しやすい隠れパラメータを求める。
さらに、ICAの普遍近似特性が証明される。
最後に、ICAの軽量バージョンが大規模データモデリングタスクのために提示される。
6つのベンチマークデータセットと数値シミュレーションデータセットの実験結果は、icaがモデリング速度、モデル精度、モデルネットワーク構造の観点から他の構成的アルゴリズムよりも優れていることを示している。
また,2つの実用工業応用事例を用いて,ICAの有効性を検証した。
関連論文リスト
- An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach
to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。
既存のモデルは本質対称性や低データ密度のモデル化に失敗する。
近軸対称非負の潜在因子分析モデルを提案する。
論文 参考訳(メタデータ) (2023-06-06T13:03:24Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳(メタデータ) (2021-06-01T19:19:49Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳(メタデータ) (2021-04-29T01:54:05Z) - Parameter Estimation with Dense and Convolutional Neural Networks
Applied to the FitzHugh-Nagumo ODE [0.0]
密度層と畳み込み層を用いた深層ニューラルネットワークを逆問題として提示し,Fitz-Nagumoモデルのパラメータを推定する。
深層ニューラルネットワークは、動的モデルやプロセスにおけるパラメータを推定する可能性があり、フレームワークのパラメータを正確に予測することができることを実証する。
論文 参考訳(メタデータ) (2020-12-12T01:20:42Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳(メタデータ) (2020-01-27T22:38:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。