論文の概要: Exact Upper and Lower Bounds for the Output Distribution of Neural Networks with Random Inputs

• arxiv url: http://arxiv.org/abs/2502.11672v1
• Date: Mon, 17 Feb 2025 11:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:14:07.246757
• Title: Exact Upper and Lower Bounds for the Output Distribution of Neural Networks with Random Inputs
• Title（参考訳）: ランダム入力を持つニューラルネットワークの出力分布における上界と下界の厳密性
• Authors: Andrey Kofnov, Daniel Kapla, Ezio Bartocci, Efstathia Bura,
• Abstract要約: 我々は、ニューラルネットワークの出力の累積分布関数(cdf)の正確な境界を、そのサポート全体にわたって導き出す。 本手法は, 連続単調片方向微分可能活性化関数を用いて, 任意のフィードフォワードNNに適用する。
• 参考スコア（独自算出の注目度）: 1.0499611180329804
• License:
• Abstract: We derive exact upper and lower bounds for the cumulative distribution function (cdf) of the output of a neural network over its entire support subject to noisy (stochastic) inputs. The upper and lower bounds converge to the true cdf over its domain as the resolution increases. Our method applies to any feedforward NN using continuous monotonic piecewise differentiable activation functions (e.g., ReLU, tanh and softmax) and convolutional NNs, which were beyond the scope of competing approaches. The novelty and an instrumental tool of our approach is to bound general NNs with ReLU NNs. The ReLU NN based bounds are then used to derive upper and lower bounds of the cdf of the NN output. Experiments demonstrate that our method delivers guaranteed bounds of the predictive output distribution over its support, thus providing exact error guarantees, in contrast to competing approaches.
• Abstract（参考訳）: ニューラルネットワークの出力の累積分布関数 (cdf) を, 雑音(確率的)な入力対象全体に対して正確に上下界に導出する。 上と下の境界はその領域上の真の cdf に収束する。 提案手法は, 連続単調片方向微分可能活性化関数(例えば, ReLU, tanh, softmax)と畳み込みNNを用いて, 競合するアプローチの範囲を超えている任意のフィードフォワードNNに適用する。 我々のアプローチの斬新さと手段は、一般的なNNとReLU NNを結びつけることである。 その後、ReLU NNベースの境界を用いて、NN出力のcdfの上と下の境界を導出する。 実験により,提案手法は,予測出力分布の保証された境界をそのサポート上に提供し,競合するアプローチとは対照的に正確な誤差保証を提供することを示した。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Neural Optimization Kernel: Towards Robust Deep Learning [13.147925376013129]
  近年の研究では、ニューラルネットワーク(NN)とカーネルメソッドの関連性が示されている。 本稿では,カーネル(NOK)という新しいカーネルファミリーを提案する。 パラメータ化ディープNN(NOK)は,経験的リスクを低減し,有界一般化を同時に低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T00:34:55Z)
• Infinite-channel deep stable convolutional neural networks [2.7561479348365734]
  本稿では、ディープフィードフォワード畳み込みNNの一般的な文脈におけるA1除去の問題について考察する。 本研究では, 深層フィードフォワード畳み込みNNの無限チャネル限界が, 安定な有限次元分布をもつプロセスであることを示す。
  論文  参考訳（メタデータ） (2021-02-07T08:12:46Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Stable behaviour of infinitely wide deep neural networks [8.000374471991247]
  我々は、重みとバイアスが独立して均等に分布する、完全に接続されたフィードフォワードディープニューラルネットワーク(NN)について検討する。 NNの無限の幅制限は、重みに対する適切なスケーリングの下で、有限次元分布が安定分布である過程であることを示す。
  論文  参考訳（メタデータ） (2020-03-01T04:07:30Z)
• Almost Sure Convergence of Dropout Algorithms for Neural Networks [0.0]
  我々は、Dropout(on et al., 2012)にインスパイアされたニューラルネットワーク(NN)の乗算学習アルゴリズムの収束と速度について検討する。 本稿では,完全連結定常NNに対して,有意な有界なアクティベーション関数を持つ確率論的証明を提案する。
  論文  参考訳（メタデータ） (2020-02-06T13:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。