論文の概要: Set-Valued Sensitivity Analysis of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2412.11057v1
• Date: Sun, 15 Dec 2024 05:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:27.130777
• Title: Set-Valued Sensitivity Analysis of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの集合値感度解析
• Authors: Xin Wang, Feiling wang, Xuegang Ban,
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)のセット値マッピングに基づく感度解析フレームワークを提案する。 集合間の距離、集合の収束、集合値写像の微分、解集合全体の安定性などの集合レベルのメトリクスを開発することにより、完全連結ニューラルネットワークの解集合がリプシッツ的な性質を持つことを示す。
• 参考スコア（独自算出の注目度）: 7.249038561506896
• License:
• Abstract: This paper proposes a sensitivity analysis framework based on set valued mapping for deep neural networks (DNN) to understand and compute how the solutions (model weights) of DNN respond to perturbations in the training data. As a DNN may not exhibit a unique solution (minima) and the algorithm of solving a DNN may lead to different solutions with minor perturbations to input data, we focus on the sensitivity of the solution set of DNN, instead of studying a single solution. In particular, we are interested in the expansion and contraction of the set in response to data perturbations. If the change of solution set can be bounded by the extent of the data perturbation, the model is said to exhibit the Lipschitz like property. This "set-to-set" analysis approach provides a deeper understanding of the robustness and reliability of DNNs during training. Our framework incorporates both isolated and non-isolated minima, and critically, does not require the assumption that the Hessian of loss function is non-singular. By developing set-level metrics such as distance between sets, convergence of sets, derivatives of set-valued mapping, and stability across the solution set, we prove that the solution set of the Fully Connected Neural Network holds Lipschitz-like properties. For general neural networks (e.g., Resnet), we introduce a graphical-derivative-based method to estimate the new solution set following data perturbation without retraining.
• Abstract（参考訳）: 本稿では、DNNの解法(モデル重み)がトレーニングデータの摂動にどう反応するかを理解し、計算するために、深層ニューラルネットワーク(DNN)のセット値マッピングに基づく感度解析フレームワークを提案する。 DNNはユニークな解(ミニマ)を示しない可能性があり、DNNを解くアルゴリズムは入力データに小さな摂動を伴う異なる解をもたらす可能性があるため、単一の解を研究するのではなく、DNNの解集合の感度に焦点を当てる。 特に、データ摂動に対応する集合の拡大と収縮に関心がある。 データ摂動の程度で解集合の変化が有界であれば、そのモデルはリプシッツのような性質を示すと言われる。 この"セット・ツー・セット"分析アプローチは、トレーニング中のDNNの堅牢性と信頼性をより深く理解する。 我々のフレームワークは孤立小数点と非孤立小数点の両方を包含しており、批判的には、損失関数のヘシアンが特異でないという仮定を必要としない。 集合間の距離、集合の収束、集合値写像の微分、解集合全体の安定性などの集合レベルのメトリクスを開発することにより、完全連結ニューラルネットワークの解集合がリプシッツ的な性質を持つことを示す。 一般のニューラルネットワーク(Resnetなど)に対して,データ摂動に伴う新しい解を再学習せずに推定するグラフィカル導出法を提案する。

関連論文リスト

• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Sparse Deep Neural Network for Nonlinear Partial Differential Equations [3.0069322256338906]
  本稿では,非線形偏微分方程式の解の適応近似に関する数値的研究について述べる。 特定の特異点を持つ関数を表現するために、複数のパラメータを持つスパース正規化を備えたディープニューラルネットワーク(DNN)を開発する。 数値的な例では、提案したSDNNが生成する解はスパースで正確である。
  論文  参考訳（メタデータ） (2022-07-27T03:12:16Z)
• Improved Training of Physics-Informed Neural Networks with Model Ensembles [81.38804205212425]
  我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。 すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。 提案手法は, 得られた解の精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-11T14:05:34Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
  ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。 これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
  論文  参考訳（メタデータ） (2020-11-06T11:34:59Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Interval Neural Networks: Uncertainty Scores [11.74565957328407]
  我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。 このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。 画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
  論文  参考訳（メタデータ） (2020-03-25T18:03:51Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。