論文の概要: NN2Poly: A polynomial representation for deep feed-forward artificial neural networks

• arxiv url: http://arxiv.org/abs/2112.11397v1
• Date: Tue, 21 Dec 2021 17:55:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-22 14:25:04.394825
• Title: NN2Poly: A polynomial representation for deep feed-forward artificial neural networks
• Title（参考訳）: NN2Poly:ディープフィードフォワード人工ニューラルネットワークの多項式表現
• Authors: Pablo Morala (1 and 2), Jenny Alexandra Cifuentes (3), Rosa E. Lillo (1 and 2), I\~naki Ucar (1) ((1) uc3m-Santander Big Data Institute, Universidad Carlos III de Madrid. Spain., (2) Department of Statistics, Universidad Carlos III de Madrid. Spain., (3) ICADE, Department of Quantitative Methods, Faculty of Economics and Business Administration, Universidad Pontificia Comillas. Spain.)
• Abstract要約: NN2Polyは、すでに訓練されたディープニューラルネットワークの代替表現を得るための理論的アプローチである。 NN2Polyを用いて、得られた予測間の誤差が低い与えられたニューラルネットワークの表現を得ることができると結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interpretability of neural networks and their underlying theoretical behaviour remain being an open field of study, even after the great success of their practical applications, particularly with the emergence of deep learning. In this work, NN2Poly is proposed: a theoretical approach that allows to obtain polynomials that provide an alternative representation of an already trained deep neural network. This extends the previous idea proposed in arXiv:2102.03865, which was limited to single hidden layer neural networks, to work with arbitrarily deep feed-forward neural networks in both regression and classification tasks. The objective of this paper is achieved by using a Taylor expansion on the activation function, at each layer, and then using several combinatorial properties that allow to identify the coefficients of the desired polynomials. The main computational limitations when implementing this theoretical method are discussed and it is presented an example of the constraints on the neural network weights that are necessary for NN2Poly to work. Finally, some simulations are presented were it is concluded that using NN2Poly it is possible to obtain a representation for the given neural network with low error between the obtained predictions.
• Abstract（参考訳）: ニューラルネットワークの解釈可能性とその基礎となる理論的振る舞いは、特に深層学習の出現による実践的応用の大きな成功の後でも、オープンフィールドの研究のままである。 本稿では、既に訓練済みのディープニューラルネットワークの代替表現を提供する多項式を得ることを可能にする理論的アプローチであるnn2polyを提案する。 これは、単一の隠れ層ニューラルネットワークに限定されたarXiv:2102.03865で提案された以前のアイデアを拡張し、回帰タスクと分類タスクの両方で任意のディープフィードフォワードニューラルネットワークで動作する。 本論文の目的は,各層における活性化関数上のテイラー展開を用いて,所望の多項式の係数を識別できる組合せ特性を用いて達成される。 この理論手法を実装する際の主な計算制限について論じ、NN2Polyの動作に必要なニューラルネットワーク重みに関する制約の例を示す。 最後に,nn2polyを用いて得られた予測値間の誤差が少ない与えられたニューラルネットワークの表現を得ることができると結論づけた。

関連論文リスト

• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
  部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。 CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。 パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
  論文  参考訳（メタデータ） (2024-02-01T09:01:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• [Experiments & Analysis] Evaluating the Feasibility of Sampling-Based Techniques for Training Multilayer Perceptrons [10.145355763143218]
  ディープニューラルネットワークのトレーニング時間を高速化するためのサンプリングベースのテクニックがいくつか提案されている。 これらのテクニックは、2つのカテゴリに分類される: (i) 隠れたレイヤのノードのサブセットをイテレーション毎にアクティブにサンプリングし、 (ii) 現在のレイヤのアクティベーションを近似するために、前のレイヤからノードのサブセットをサンプリングする。 本稿では,計算資源が限られているCPUマシンにおいて,これらの手法の有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-15T17:19:48Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• Limitations of neural network training due to numerical instability of backpropagation [2.255961793913651]
  本研究では,浮動小数点算術を用いて勾配を計算する勾配勾配降下による深層ニューラルネットワークの訓練について検討する。 勾配降下によるトレーニングの過程で、層数に関して超直線的に多くのアフィンピースを維持できるReLUニューラルネットワークを見つける可能性は極めて低い。 我々は,ReLUニューラルネットワークの勾配降下による近似列が理論的に構築された配列と大きく異なることを結論付けた。
  論文  参考訳（メタデータ） (2022-10-03T10:34:38Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression [0.0]
  特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。 生成したデータから学習すると,そのデータを局所的に近似的に生成する。
  論文  参考訳（メタデータ） (2021-02-07T17:56:16Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。