論文の概要: On the Correctness of Automatic Differentiation for Neural Networks with
Machine-Representable Parameters
- arxiv url: http://arxiv.org/abs/2301.13370v2
- Date: Tue, 6 Jun 2023 04:04:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 20:55:35.534602
- Title: On the Correctness of Automatic Differentiation for Neural Networks with
Machine-Representable Parameters
- Title（参考訳）: 機械表現可能なパラメータを持つニューラルネットワークの自動微分の正確性について
- Authors: Wonyeol Lee, Sejun Park, Alex Aiken
- Abstract要約: ニューラルネットワークのパラメータ空間が機械表現可能な数のみからなる場合のADの正当性について検討する。
我々は AD が非微分可能集合上でも常にクラーク偏微分を計算することを証明している。
- 参考スコア（独自算出の注目度）: 15.684305805304428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that forward- and reverse- mode automatic
differentiation (AD) over the reals is almost always correct in a
mathematically precise sense. However, actual programs work with
machine-representable numbers (e.g., floating-point numbers), not reals. In
this paper, we study the correctness of AD when the parameter space of a neural
network consists solely of machine-representable numbers. In particular, we
analyze two sets of parameters on which AD can be incorrect: the incorrect set
on which the network is differentiable but AD does not compute its derivative,
and the non-differentiable set on which the network is non-differentiable. For
a neural network with bias parameters, we first prove that the incorrect set is
always empty. We then prove a tight bound on the size of the non-differentiable
set, which is linear in the number of non-differentiabilities in activation
functions, and give a simple necessary and sufficient condition for a parameter
to be in this set. We further prove that AD always computes a Clarke
subderivative even on the non-differentiable set. We also extend these results
to neural networks possibly without bias parameters.
- Abstract（参考訳）: 近年の研究では、実数に対する前方および逆モードの自動微分(AD)が、数学的に正確な意味でほぼ常に正しいことが示されている。
しかし、実際のプログラムは実数ではなく機械表現可能な数(例えば浮動小数点数)で動作する。
本稿では,ニューラルネットワークのパラメータ空間が機械表現可能な数のみからなる場合のADの正当性について検討する。
特に,adが不正確である2つのパラメータ:ネットワークが微分可能だがadが導出を計算しない不正確な集合と,ネットワークが非微分可能である非微分集合である。
バイアスパラメータを持つニューラルネットワークでは、正しくない集合は常に空であることを示す。
次に、活性化関数の非微分可能性の数において線形である非微分可能集合のサイズに厳密な境界があることを証明し、この集合にパラメータが存在するための簡単な必要十分条件を与える。
さらに、AD は非微分可能集合上でも常にクラーク偏微分を計算することを証明している。
また、バイアスパラメータなしでニューラルネットワークにこれらの結果を拡張します。
関連論文リスト
- Invariance Measures for Neural Networks [1.2845309023495566]
本稿では,ニューラルネットワークの内部表現の不変性を定量化する手法を提案する。
これらの測定は効率的で解釈可能であり、任意のニューラルネットワークモデルに適用できる。
論文 参考訳（メタデータ） (2023-10-26T13:59:39Z) - Non Commutative Convolutional Signal Models in Neural Networks:
Stability to Small Deformations [111.27636893711055]
非可換畳み込みフィルタのフィルタ特性と安定性について検討する。
この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
論文 参考訳（メタデータ） (2023-10-05T20:27:22Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under
Permutation Groups [0.0]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳（メタデータ） (2023-09-24T19:40:15Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。
CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
論文 参考訳（メタデータ） (2022-04-14T18:08:36Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳（メタデータ） (2021-08-23T04:22:58Z) - High-dimensional separability for one- and few-shot learning [58.8599521537]
この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。
特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。
AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
論文 参考訳（メタデータ） (2021-06-28T14:58:14Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。
VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。
その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
論文 参考訳（メタデータ） (2020-08-25T20:12:59Z) - No one-hidden-layer neural network can represent multivariable functions [0.0]
ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。
整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
論文 参考訳（メタデータ） (2020-06-19T06:46:54Z) - Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。
未知の置換と基数を持つ集合を予測するための新しい手法を提案する。
関連視覚問題に対する集合定式化の有効性を実証する。
論文 参考訳（メタデータ） (2020-01-30T01:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。