論文の概要: NN2Poly: A polynomial representation for deep feed-forward artificial neural networks

• arxiv url: http://arxiv.org/abs/2112.11397v3
• Date: Thu, 1 Jun 2023 17:04:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 02:11:19.344603
• Title: NN2Poly: A polynomial representation for deep feed-forward artificial neural networks
• Title（参考訳）: NN2Poly:ディープフィードフォワード人工ニューラルネットワークの多項式表現
• Authors: Pablo Morala (1 and 2), Jenny Alexandra Cifuentes (3), Rosa E. Lillo (1 and 2), I\~naki Ucar (1 and 2) ((1) uc3m-Santander Big Data Institute, Universidad Carlos III de Madrid. Spain., (2) Department of Statistics, Universidad Carlos III de Madrid. Spain., (3) ICADE, Department of Quantitative Methods, Faculty of Economics and Business Administration, Universidad Pontificia Comillas. Spain.)
• Abstract要約: NN2Polyは、すでに訓練済みの完全接続フィードフォワード人工ニューラルネットワークの明示的なモデルを得るための理論的アプローチである。 このアプローチは、単一の隠蔽層ネットワークに限定された文献で提案された以前の考え方を拡張している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability of neural networks and their underlying theoretical behavior remain an open field of study even after the great success of their practical applications, particularly with the emergence of deep learning. In this work, NN2Poly is proposed: a theoretical approach to obtain an explicit polynomial model that provides an accurate representation of an already trained fully-connected feed-forward artificial neural network (a multilayer perceptron or MLP). This approach extends a previous idea proposed in the literature, which was limited to single hidden layer networks, to work with arbitrarily deep MLPs in both regression and classification tasks. The objective of this paper is to achieve this by using a Taylor expansion on the activation function, at each layer, and then using several combinatorial properties to calculate the coefficients of the desired polynomials. Discussion is presented on the main computational challenges of this method, and the way to overcome them by imposing certain constraints during the training phase. Finally, simulation experiments as well as an application to a real data set are presented to demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: ニューラルネットワークの解釈可能性とその基礎となる理論的振る舞いは、特にディープラーニングの出現において、実践的応用の大きな成功の後でも、研究のオープンフィールドのままである。 NN2Polyは、すでに訓練済みの完全接続フィードフォワード人工ニューラルネットワーク(多層パーセプトロンまたはMLP)の正確な表現を提供する明示的な多項式モデルを得るための理論的アプローチである。 このアプローチは、レグレッションタスクと分類タスクの両方で任意に深いMLPを扱うために、単一の隠れ層ネットワークに限定された文献で提案された以前のアイデアを拡張している。 本研究の目的は,各層における活性化関数のテイラー展開を用いて,いくつかの組合せ特性を用いて所望の多項式の係数を計算することである。 本手法の主な計算上の課題と,訓練段階で一定の制約を課すことで克服する方法について考察を行った。 最後に,提案手法の有効性を示すため,シミュレーション実験と実データセットへの適用について述べる。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
  部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。 パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
  論文  参考訳（メタデータ） (2024-02-01T09:01:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• [Experiments & Analysis] Evaluating the Feasibility of Sampling-Based Techniques for Training Multilayer Perceptrons [10.145355763143218]
  ディープニューラルネットワークのトレーニング時間を高速化するためのサンプリングベースのテクニックがいくつか提案されている。 これらのテクニックは、2つのカテゴリに分類される: (i) 隠れたレイヤのノードのサブセットをイテレーション毎にアクティブにサンプリングし、 (ii) 現在のレイヤのアクティベーションを近似するために、前のレイヤからノードのサブセットをサンプリングする。 本稿では,計算資源が限られているCPUマシンにおいて,これらの手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-15T17:19:48Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Limitations of neural network training due to numerical instability of backpropagation [2.255961793913651]
  本研究では,浮動小数点算術を用いて勾配を計算する勾配勾配降下による深層ニューラルネットワークの訓練について検討する。 勾配降下によるトレーニングの過程で、層数に関して超直線的に多くのアフィンピースを維持できるReLUニューラルネットワークを見つける可能性は極めて低い。 我々は,ReLUニューラルネットワークの勾配降下による近似列が理論的に構築された配列と大きく異なることを結論付けた。
  論文  参考訳（メタデータ） (2022-10-03T10:34:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression [0.0]
  特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。 生成したデータから学習すると,そのデータを局所的に近似的に生成する。
  論文  参考訳（メタデータ） (2021-02-07T17:56:16Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。