論文の概要: A Quasilinear Algorithm for Computing Higher-Order Derivatives of Deep Feed-Forward Neural Networks

• arxiv url: http://arxiv.org/abs/2412.09752v1
• Date: Thu, 12 Dec 2024 22:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:05.360476
• Title: A Quasilinear Algorithm for Computing Higher-Order Derivatives of Deep Feed-Forward Neural Networks
• Title（参考訳）: ディープフィードフォワードニューラルネットワークの高次導関数計算のための準線形アルゴリズム
• Authors: Kyle R. Chickering,
• Abstract要約: $n$-TangentProp は指数時間ではなく、準線形の $dn/dxn f(x)$ を計算する。 物理インフォームドニューラルネットワークの文脈において,本手法が特に有用であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The use of neural networks for solving differential equations is practically difficult due to the exponentially increasing runtime of autodifferentiation when computing high-order derivatives. We propose $n$-TangentProp, the natural extension of the TangentProp formalism \cite{simard1991tangent} to arbitrarily many derivatives. $n$-TangentProp computes the exact derivative $d^n/dx^n f(x)$ in quasilinear, instead of exponential time, for a densely connected, feed-forward neural network $f$ with a smooth, parameter-free activation function. We validate our algorithm empirically across a range of depths, widths, and number of derivatives. We demonstrate that our method is particularly beneficial in the context of physics-informed neural networks where \ntp allows for significantly faster training times than previous methods and has favorable scaling with respect to both model size and loss-function complexity as measured by the number of required derivatives. The code for this paper can be found at https://github.com/kyrochi/n\_tangentprop.
• Abstract（参考訳）: 微分方程式の解法におけるニューラルネットワークの利用は、高次微分を計算する際に、指数関数的に増加する自己微分のランタイムのため、事実上困難である。 我々は、任意の多くの微分に対して、TangentProp形式主義の自然な拡張である$n$-TangentPropを提案する。 $n$-TangentProp は指数時間の代わりに、パラメータなしのスムーズな活性化関数を持つ高密度に連結されたフィードフォワードニューラルネットワーク $f$ に対して、正確な微分 $d^n/dx^n f(x)$ を計算する。 提案アルゴリズムは, 深さ, 幅, 導関数数に対して実験的に検証する。 本稿では,本手法が物理情報ニューラルネットワークの文脈において特に有益であることを示す。ここでは,所要の導関数数によって測定されるモデルサイズと損失関数の複雑さの両方に関して,より高速なトレーニング時間を実現することができる。 この論文のコードはhttps://github.com/kyrochi/n\_tangentpropにある。

関連論文リスト

• Stochastic Taylor Derivative Estimator: Efficient amortization for arbitrary differential operators [29.063441432499776]
  多変量関数に対する任意の順序の微分テンソルの任意の収縮を効率的に行う方法を示す。 物理インフォームドニューラルネットワーク(PINN)に適用すると,1000$times$ Speed-upと1000$times$ Speed-upが提供される。 30$times$1次ADによるランダム化によるメモリ削減。
  論文  参考訳（メタデータ） (2024-11-27T09:37:33Z)
• Neural Networks and (Virtual) Extended Formulations [5.762677915745415]
  私たちは、$P$を最適化するニューラルネットワークのサイズに対して、より低い境界を証明します。 我々は、$mathrmxc(P)$が任意のモノトーンや入力ニューラルネットワークのサイズの低い境界であることを示し、$P$を超える線形最適化問題を解く。
  論文  参考訳（メタデータ） (2024-11-05T11:12:11Z)
• Adapting Newton's Method to Neural Networks through a Summary of Higher-Order Derivatives [0.0]
  我々は、ヘッセン微分と高階微分の射影の厳密で明示的な計算に焦点をあてる。 そこで本研究では, テンソルの次数2, 次数3の最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-06T20:24:05Z)
• HOPE: High-order Polynomial Expansion of Black-box Neural Networks [7.156504968033132]
  本稿では,参照入力における高階Taylorへのネットワーク拡張手法であるHOPE(High-order Polynomial Expansion)を紹介する。 数値解析により,提案手法の精度,計算量,収束性を検証した。 我々は,関数発見,高速推論,特徴選択など,ディープラーニングに基づくHOPEの広範な応用を実証する。
  論文  参考訳（メタデータ） (2023-07-17T01:46:15Z)
• Scaling Gaussian Processes with Derivative Information Using Variational Inference [17.746842802181256]
  本稿では,変分推論を用いた導関数を用いた完全スケーラブルなガウス過程回帰を実現する手法を提案する。 我々は,高次元ステラレータ融合回帰タスクから,Pubmed上のグラフ畳み込みニューラルネットワークのトレーニングまで,さまざまなタスクに対するアプローチの完全なスケーラビリティを実証する。
  論文  参考訳（メタデータ） (2021-07-08T18:23:59Z)
• Higher-order Derivatives of Weighted Finite-state Machines [68.43084108204741]
  本研究では、重み付き有限状態機械の正規化定数に関する高次微分の計算について検討する。 文献に記載されていないすべての順序の導関数を評価するための一般アルゴリズムを提案する。 我々のアルゴリズムは以前のアルゴリズムよりもはるかに高速である。
  論文  参考訳（メタデータ） (2021-06-01T19:51:55Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
  非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。 特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
  論文  参考訳（メタデータ） (2020-02-10T23:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。