論文の概要: HOPE: High-order Polynomial Expansion of Black-box Neural Networks

• arxiv url: http://arxiv.org/abs/2307.08192v1
• Date: Mon, 17 Jul 2023 01:46:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 15:01:49.459021
• Title: HOPE: High-order Polynomial Expansion of Black-box Neural Networks
• Title（参考訳）: HOPE:ブラックボックスニューラルネットワークの高次多項式展開
• Authors: Tingxiong Xiao, Weihang Zhang, Yuxiao Cheng, Jinli Suo
• Abstract要約: 本稿では,参照入力における高階Taylorへのネットワーク拡張手法であるHOPE(High-order Polynomial Expansion)を紹介する。 数値解析により,提案手法の精度,計算量,収束性を検証した。 我々は,関数発見,高速推論,特徴選択など,ディープラーニングに基づくHOPEの広範な応用を実証する。
• 参考スコア（独自算出の注目度）: 7.156504968033132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their remarkable performance, deep neural networks remain mostly ``black boxes'', suggesting inexplicability and hindering their wide applications in fields requiring making rational decisions. Here we introduce HOPE (High-order Polynomial Expansion), a method for expanding a network into a high-order Taylor polynomial on a reference input. Specifically, we derive the high-order derivative rule for composite functions and extend the rule to neural networks to obtain their high-order derivatives quickly and accurately. From these derivatives, we can then derive the Taylor polynomial of the neural network, which provides an explicit expression of the network's local interpretations. Numerical analysis confirms the high accuracy, low computational complexity, and good convergence of the proposed method. Moreover, we demonstrate HOPE's wide applications built on deep learning, including function discovery, fast inference, and feature selection. The code is available at https://github.com/HarryPotterXTX/HOPE.git.
• Abstract（参考訳）: その顕著な性能にもかかわらず、ディープニューラルネットワークはほとんど'ブラックボックス'のままであり、不正確性を示し、合理的な決定を必要とする分野における幅広い応用を妨げている。 本稿では,参照入力における高次テイラー多項式へのネットワーク拡張手法であるHOPE(High-order Polynomial Expansion)を紹介する。 具体的には、複合関数の高階微分規則を導出し、その規則をニューラルネットワークに拡張して高階微分を迅速かつ正確に得る。 これらの微分から、ニューラルネットワークのテイラー多項式を導出し、ネットワークの局所的な解釈を明示的に表現することができる。 数値解析により,提案手法の高精度化,計算複雑性の低さ,収束性が確認された。 さらに,関数発見,高速な推論,機能選択など,ディープラーニングを基盤とするhopeの広範なアプリケーションについても紹介する。 コードはhttps://github.com/HarryPotterXTX/HOPE.gitで公開されている。

関連論文リスト

• Towards an Algebraic Framework For Approximating Functions Using Neural Network Polynomials [0.589889361990138]
  ニューラルネットワークオブジェクトのケースを作成し,すでに存在するニューラルネットワーク計算を拡張して,第2章で詳しく解説する。 私たちの目標は、確かに、ニューラルネットワーク、ニューラルネットワーク指数、シネ、コサインについて話すことは理にかなっており、特定のパラメータ、$q$、$varepsilon$の制限を受ける実数と実際に近似しているという意味では理にかなっていることです。
  論文  参考訳（メタデータ） (2024-02-01T23:06:50Z)
• Factor Graph Neural Networks [20.211455592922736]
  グラフニューラルネットワーク(GNN)は、多くの現実世界のアプリケーションで大きな成功を収めながら、エンドツーエンドで強力な表現を学習することができる。 推論と学習の高次関係を効果的に捉えるためにFGNN(Facter Graph Neural Networks)を提案する。
  論文  参考訳（メタデータ） (2023-08-02T00:32:02Z)
• Tensorized Hypergraph Neural Networks [69.65385474777031]
  我々は,新しいアジャケーシテンソルベースのtextbfTensorized textbfHypergraph textbfNeural textbfNetwork (THNN) を提案する。 THNNは高次外装機能パッシングメッセージを通じて、忠実なハイパーグラフモデリングフレームワークである。 3次元視覚オブジェクト分類のための2つの広く使われているハイパーグラフデータセットの実験結果から、モデルの有望な性能を示す。
  論文  参考訳（メタデータ） (2023-06-05T03:26:06Z)
• Regularization of polynomial networks for image recognition [78.4786845859205]
  PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。 6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
  論文  参考訳（メタデータ） (2023-03-24T10:05:22Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Enhanced DeepONet for Modeling Partial Differential Operators Considering Multiple Input Functions [5.819397109258169]
  偏微分方程式(PDE)に対する一般非線形連続作用素をモデル化するディープネットワーク演算子(DeepONet)が提案された。 既存のDeepONetは1つの入力関数しか受け付けないため、アプリケーションに制限がある。 本稿では、2つの入力関数を2つの分枝サブネットワークで表現する拡張DeepONetまたはEDeepONet高レベルニューラルネットワーク構造を提案する。 2つの偏微分方程式の例をモデル化した結果、提案した拡張DeepONetは約7X-17Xであり、完全に連結されたニューラルネットワークよりも約1桁精度が高いことがわかった。
  論文  参考訳（メタデータ） (2022-02-17T23:58:23Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。