論文の概要: AMITE: A Novel Polynomial Expansion for Analyzing Neural Network Nonlinearities

• arxiv url: http://arxiv.org/abs/2007.06226v5
• Date: Wed, 24 Nov 2021 03:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:31:57.394752
• Title: AMITE: A Novel Polynomial Expansion for Analyzing Neural Network Nonlinearities
• Title（参考訳）: amite:ニューラルネットワークの非線形解析のための新しい多項式展開
• Authors: Mauro J. Sanchirico III, Xun Jiao and C. Nataraj
• Abstract要約: 多項式展開はニューラルネットワークの非線形性の解析において重要である。 既存のアプローチは古典的なテイラー法とチェビシェフ法にまたがる。 これらの性質をすべて拡張した一貫した方法を提供するアプローチは存在しない。
• 参考スコア（独自算出の注目度）: 1.8761314918771685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Polynomial expansions are important in the analysis of neural network nonlinearities. They have been applied thereto addressing well-known difficulties in verification, explainability, and security. Existing approaches span classical Taylor and Chebyshev methods, asymptotics, and many numerical approaches. We find that while these individually have useful properties such as exact error formulas, adjustable domain, and robustness to undefined derivatives, there are no approaches that provide a consistent method yielding an expansion with all these properties. To address this, we develop an analytically modified integral transform expansion (AMITE), a novel expansion via integral transforms modified using derived criteria for convergence. We show the general expansion and then demonstrate application for two popular activation functions, hyperbolic tangent and rectified linear units. Compared with existing expansions (i.e., Chebyshev, Taylor, and numerical) employed to this end, AMITE is the first to provide six previously mutually exclusive desired expansion properties such as exact formulas for the coefficients and exact expansion errors (Table II). We demonstrate the effectiveness of AMITE in two case studies. First, a multivariate polynomial form is efficiently extracted from a single hidden layer black-box Multi-Layer Perceptron (MLP) to facilitate equivalence testing from noisy stimulus-response pairs. Second, a variety of Feed-Forward Neural Network (FFNN) architectures having between 3 and 7 layers are range bounded using Taylor models improved by the AMITE polynomials and error formulas. AMITE presents a new dimension of expansion methods suitable for analysis/approximation of nonlinearities in neural networks, opening new directions and opportunities for the theoretical analysis and systematic testing of neural networks.
• Abstract（参考訳）: 多項式展開はニューラルネットワークの非線形性の解析において重要である。 それらは、検証、説明可能性、セキュリティに関するよく知られた困難に対処するために適用されている。 既存のアプローチは古典的テイラー法とチェビシェフ法、漸近法、多くの数値的アプローチにまたがる。 これらは個別に正確な誤差公式、調整可能な領域、未定義の微分に対するロバスト性といった有用な性質を持つが、これら全ての性質で拡張をもたらす一貫した方法を提供するアプローチは存在しない。 そこで我々は,導出した収束基準を用いて修正された積分変換による新たな拡張であるAMITE(Analytically modified integral transformation expansion)を開発した。 一般拡張を示し、双曲的接点と整形線形単位という2つの一般的な活性化関数の応用を示す。 この目的のために用いられる既存の拡張(チェビシェフ、テイラー、数値など)と比較すると、AMITEは係数の正確な公式や正確な拡張誤差(Table II)のような、互いに排他的に排他的な6つの拡張特性を初めて提供する。 2つのケーススタディでAMITEの有効性を実証した。 まず、単一の隠れ層ブラックボックスマルチ層パーセプトロン(MLP)から多変量多項式形式を効率よく抽出し、ノイズ刺激応答対から等価性試験を容易にする。 第2に,3層から7層までの様々なフィードフォワードニューラルネットワーク(ffnn)アーキテクチャを,アメート多項式と誤差公式によって改良されたtaylorモデルを用いて境界づけする。 AMITEは、ニューラルネットワークにおける非線形性の分析/近似に適した拡張手法の新たな次元を示し、ニューラルネットワークの理論解析と体系的なテストの機会を開放する。

関連論文リスト

• Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
  深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。 我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
  論文  参考訳（メタデータ） (2024-06-05T13:37:42Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Covering Number of Real Algebraic Varieties and Beyond: Improved Bounds and Applications [8.438718130535296]
  ユークリッド空間における集合の被覆数について上限を証明する。 ここでは、イムディン・コントによる最もよく知られた一般境界が改善されることが示される。 本稿では,3つの計算応用における結果のパワーについて説明する。
  論文  参考訳（メタデータ） (2023-11-09T03:06:59Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Sparse Bayesian Learning for Complex-Valued Rational Approximations [0.03392423750246091]
  サロゲートモデルは、エンジニアリングタスクの計算負担を軽減するために使用される。 これらのモデルは入力パラメータに強い非線形依存を示す。 合理的近似にスパース学習アプローチを適用する。
  論文  参考訳（メタデータ） (2022-06-06T12:06:13Z)
• A deep learning driven pseudospectral PCE based FFT homogenization algorithm for complex microstructures [68.8204255655161]
  提案手法は,従来の手法よりも高速に評価できる一方で,興味の中心モーメントを予測できることを示す。 提案手法は,従来の手法よりも高速に評価できると同時に,興味の中心モーメントを予測できることを示す。
  論文  参考訳（メタデータ） (2021-10-26T07:02:14Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Stochastic spectral embedding [0.0]
  確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。 本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
  論文  参考訳（メタデータ） (2020-04-09T11:00:07Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。