論文の概要: On the Correctness of Automatic Differentiation for Neural Networks with Machine-Representable Parameters

• arxiv url: http://arxiv.org/abs/2301.13370v1
• Date: Tue, 31 Jan 2023 02:30:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 17:50:37.379687
• Title: On the Correctness of Automatic Differentiation for Neural Networks with Machine-Representable Parameters
• Title（参考訳）: 機械表現可能なパラメータを持つニューラルネットワークの自動微分の正確性について
• Authors: Wonyeol Lee, Sejun Park, Alex Aiken
• Abstract要約: ニューラルネットワークのパラメータ空間が機械表現可能な数のみからなる場合、自動微分の正しさについて検討する。 バイアスパラメータを持つニューラルネットワークに対して、ネットワークが微分可能な全てのパラメータにおいて、自動微分が正しいことを証明する。 これらの結果を、バイアスパラメータなしでニューラルネットワークに拡張する。
• 参考スコア（独自算出の注目度）: 15.684305805304428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that automatic differentiation over the reals is almost always correct in a mathematically precise sense. However, actual programs work with machine-representable numbers (e.g., floating-point numbers), not reals. In this paper, we study the correctness of automatic differentiation when the parameter space of a neural network consists solely of machine-representable numbers. For a neural network with bias parameters, we prove that automatic differentiation is correct at all parameters where the network is differentiable. In contrast, it is incorrect at all parameters where the network is non-differentiable, since it never informs non-differentiability. To better understand this non-differentiable set of parameters, we prove a tight bound on its size, which is linear in the number of non-differentiabilities in activation functions, and provide a simple necessary and sufficient condition for a parameter to be in this set. We further prove that automatic differentiation always computes a Clarke subderivative, even on the non-differentiable set. We also extend these results to neural networks possibly without bias parameters.
• Abstract（参考訳）: 最近の研究では、実数に対する自動微分はほとんど常に数学的に正確な意味で正しいことが示されている。 しかし、実際のプログラムは実数ではなく機械表現可能な数(例えば浮動小数点数)で動作する。 本稿では,ニューラルネットワークのパラメータ空間が機械表現可能な数のみからなる場合,自動微分の正しさについて検討する。 バイアスパラメータを持つニューラルネットワークに対して、ネットワークが微分可能な全てのパラメータにおいて、自動微分が正しいことを証明する。 対照的に、ネットワークが微分不可能である全てのパラメータは正しくない。 このパラメータの非微分不可能な集合をよりよく理解するために、活性化関数の非微分可能性の数で線型であるそのサイズに厳密な束縛を証明し、この集合に含まれるパラメータに必要な簡単な条件を与える。 さらに, 自動微分は, 非微分集合上でもクラーク部分導関数を常に計算できることも証明する。 また、バイアスパラメータなしでニューラルネットワークにこれらの結果を拡張します。

関連論文リスト

• Invariance Measures for Neural Networks [1.2845309023495566]
  本稿では,ニューラルネットワークの内部表現の不変性を定量化する手法を提案する。 これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。
  論文  参考訳（メタデータ） (2023-10-26T13:59:39Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [0.0]
  置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。 パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
  論文  参考訳（メタデータ） (2023-09-24T19:40:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
  本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。 VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。 その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-25T20:12:59Z)
• No one-hidden-layer neural network can represent multivariable functions [0.0]
  ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。 整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
  論文  参考訳（メタデータ） (2020-06-19T06:46:54Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。