論文の概要: How Sampling Impacts the Robustness of Stochastic Neural Networks

• arxiv url: http://arxiv.org/abs/2204.10839v1
• Date: Fri, 22 Apr 2022 17:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 14:24:06.895946
• Title: How Sampling Impacts the Robustness of Stochastic Neural Networks
• Title（参考訳）: 確率的ニューラルネットワークのロバスト性に及ぼすサンプリングの影響
• Authors: Sina D\"aubener and Asja Fischer
• Abstract要約: ニューラルネットワーク(SNN)はランダム関数であり、複数の実現を平均化することで予測が得られる。 逆攻撃は1つのサンプルセットに基づいて計算され、他のサンプルセットによって定義された予測に適用される。 我々は,SNNのロバスト性向上につながる要因を特定し,その分散とサンプル量の影響を説明するのに役立つ。
• 参考スコア（独自算出の注目度）: 16.30200782698554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic neural networks (SNNs) are random functions and predictions are gained by averaging over multiple realizations of this random function. Consequently, an adversarial attack is calculated based on one set of samples and applied to the prediction defined by another set of samples. In this paper we analyze robustness in this setting by deriving a sufficient condition for the given prediction process to be robust against the calculated attack. This allows us to identify the factors that lead to an increased robustness of SNNs and helps to explain the impact of the variance and the amount of samples. Among other things, our theoretical analysis gives insights into (i) why increasing the amount of samples drawn for the estimation of adversarial examples increases the attack's strength, (ii) why decreasing sample size during inference hardly influences the robustness, and (iii) why a higher prediction variance between realizations relates to a higher robustness. We verify the validity of our theoretical findings by an extensive empirical analysis.
• Abstract（参考訳）: 確率的ニューラルネットワーク(snn)はランダム関数であり、このランダム関数の複数の実現を平均することで予測される。 これにより、一方のサンプルセットに基づいて逆攻撃を計算し、他方のサンプルセットで定義された予測に適用する。 本稿では,与えられた予測過程が計算された攻撃に対してロバストであるための十分な条件を導出することにより,この設定におけるロバスト性を分析する。 これにより、SNNの堅牢性向上につながる要因を特定し、分散とサンプルの量の影響を説明するのに役立ちます。 私たちの理論分析は、特に、洞察を与えてくれる。 (i)攻撃例の推定のために抽出されたサンプル量の増加が攻撃の強さを増加させる理由。 (ii) 推論中のサンプルサイズの減少がロバスト性にほとんど影響を与えない理由 (3) 実現間の高い予測分散がより高いロバスト性と関連している理由。 理論的な結果の妥当性を広範な実証分析により検証した。

関連論文リスト

• Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis [25.993502776271022]
  大きなパラメータ空間を持つことは、敵の例に対するニューラルネットワークの脆弱性の主な疑念の1つと考えられている。 従来の研究は、検討されたモデルによっては、敵の例を生成するアルゴリズムが適切に機能しないことを示した。
  論文  参考訳（メタデータ） (2024-06-14T14:47:06Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression [32.727673706238086]
  本稿では、因果的な観点から、敵の訓練を受けたネットワークにおける予期せぬ脆弱性を掘り下げる手法を提案する。 展開することで,不偏環境下での敵予測の因果関係を推定する。 その結果, 推定因果関係は, 正解率の正解率と高い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-03-02T08:18:22Z)
• How Tempering Fixes Data Augmentation in Bayesian Neural Networks [22.188535244056016]
  テンパリングは、拡張のモデリングから生じる誤特定を暗黙的に減らし、すなわちデータとして示す。 温度は有効サンプルサイズの役割を模倣し、増強によって提供される情報の利得を反映している。
  論文  参考訳（メタデータ） (2022-05-27T11:06:56Z)
• Data Augmentation in the Underparameterized and Overparameterized Regimes [7.326504492614808]
  我々は,データの増大が推定値の分散と限定分布に与える影響を定量化する。 その結果、機械学習の実践において行われたいくつかの観察が確認できたが、予期せぬ発見につながった。
  論文  参考訳（メタデータ） (2022-02-18T11:32:41Z)
• Variance Minimization in the Wasserstein Space for Invariant Causal Prediction [72.13445677280792]
  そこで本研究では,ICPで行ったアプローチを,予測器数で線形にスケールする一連の非パラメトリックテストとして再検討する。 これらのテストはそれぞれ、最適輸送理論の道具から導かれる新しい損失関数の最小化に依存している。 我々は,本手法が同定可能な直接原因の集合を回復できるという軽微な仮定の下で証明し,他のベンチマーク因果探索アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2021-10-13T22:30:47Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Verifying the Causes of Adversarial Examples [5.381050729919025]
  ニューラルネットワークのロバスト性は、入力に対するほとんど知覚できない摂動を含む敵の例によって挑戦される。 本稿では,敵対的事例の潜在的な原因の収集と,慎重に設計された制御実験による検証(あるいは部分的に検証)を行う。 実験の結果, 幾何学的要因はより直接的な原因であり, 統計的要因は現象を増大させることが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-19T16:17:20Z)
• Balance-Subsampled Stable Prediction [55.13512328954456]
  本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。 設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。 合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。