論文の概要: Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations

• arxiv url: http://arxiv.org/abs/2103.02200v1
• Date: Wed, 3 Mar 2021 06:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 14:55:19.423695
• Title: Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
• Title（参考訳）: 重み摂動に対するニューラルネットワークの一般化とロバスト性
• Authors: Yu-Lin Tsai, Chia-Yi Hsu, Chia-Mu Yu, Pin-Yu Chen
• Abstract要約: 非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
• 参考スコア（独自算出の注目度）: 58.731070632586594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studying the sensitivity of weight perturbation in neural networks and its impacts on model performance, including generalization and robustness, is an active research topic due to its implications on a wide range of machine learning tasks such as model compression, generalization gap assessment, and adversarial attacks. In this paper, we provide the first formal analysis for feed-forward neural networks with non-negative monotone activation functions against norm-bounded weight perturbations, in terms of the robustness in pairwise class margin functions and the Rademacher complexity for generalization. We further design a new theory-driven loss function for training generalizable and robust neural networks against weight perturbations. Empirical experiments are conducted to validate our theoretical analysis. Our results offer fundamental insights for characterizing the generalization and robustness of neural networks against weight perturbations.
• Abstract（参考訳）: ニューラルネットワークにおける重量摂動の感度と、一般化や堅牢性を含むモデルパフォーマンスへの影響についての研究は、モデル圧縮、一般化ギャップアセスメント、敵対的攻撃など、幅広い機械学習タスクに影響を及ぼすため、活発な研究テーマである。 本稿では,非負のモノトン活性化関数を持つフィードフォワードニューラルネットワークに対して,ペアワイズクラスマージン関数のロバスト性と一般化のためのラデマッハ複雑性の観点から,最初の形式的解析を行う。 さらに、重み摂動に対して一般化可能で堅牢なニューラルネットワークをトレーニングするための理論駆動型損失関数を設計する。 実験は理論解析を検証するために行われる。 その結果、ニューラルネットワークの重量変動に対する一般化と堅牢性を特徴付けるための基本的な洞察を提供します。

関連論文リスト

• Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)
• Predictive coding in balanced neural networks with noise, chaos and delays [24.76770648963407]
  本稿では,バランスの度合いと重み障害の度合いを関連付けることができるバランス予測符号化モデルを提案する。 我々の研究は、神経ノイズ、シナプス障害、カオス、シナプス遅延、予測ニューラルコードの忠実さとのバランスを識別するための一般的な理論的枠組みを提供し、解決する。
  論文  参考訳（メタデータ） (2020-06-25T05:03:27Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。