論文の概要: Tangent Space Sensitivity and Distribution of Linear Regions in ReLU Networks

• arxiv url: http://arxiv.org/abs/2006.06780v1
• Date: Thu, 11 Jun 2020 20:02:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:08:10.755873
• Title: Tangent Space Sensitivity and Distribution of Linear Regions in ReLU Networks
• Title（参考訳）: ReLUネットワークにおけるTangent Space Sensitivityと線形領域の分布
• Authors: B\'alint Dar\'oczy
• Abstract要約: 我々は, 接空間における対角安定性を考察し, 安定度を特徴付けるために接空間感度を提案する。 フィードフォワード完全連結ReLUネットワークに対する計算容易な境界と経験的測度を導出する。 我々の実験は、単純な境界や測度でさえ経験的一般化ギャップと関連していることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent articles indicate that deep neural networks are efficient models for various learning problems. However they are often highly sensitive to various changes that cannot be detected by an independent observer. As our understanding of deep neural networks with traditional generalization bounds still remains incomplete, there are several measures which capture the behaviour of the model in case of small changes at a specific state. In this paper we consider adversarial stability in the tangent space and suggest tangent sensitivity in order to characterize stability. We focus on a particular kind of stability with respect to changes in parameters that are induced by individual examples without known labels. We derive several easily computable bounds and empirical measures for feed-forward fully connected ReLU (Rectified Linear Unit) networks and connect tangent sensitivity to the distribution of the activation regions in the input space realized by the network. Our experiments suggest that even simple bounds and measures are associated with the empirical generalization gap.
• Abstract（参考訳）: 最近の論文は、ディープニューラルネットワークが様々な学習問題の効率的なモデルであることを示している。 しかし、それらはしばしば、独立した観測者によって検出できない様々な変化に非常に敏感である。 従来の一般化境界を持つディープニューラルネットワークの理解はいまだ不完全であるため、特定の状態における小さな変化の場合、モデルの振る舞いを捉えるためのいくつかの尺度がある。 本稿では,接空間における逆安定性を考察し,安定性を特徴付けるために接感度を提案する。 我々は、ラベルのない個々の例によって引き起こされるパラメータの変化に関して、特定の種類の安定性に焦点を当てる。 フィードフォワード完全連結relu(rectified linear unit)ネットワークの計算容易な境界と経験的尺度を導出し、ネットワークによって実現される入力空間内の活性化領域の分布に接する感度を接続する。 我々の実験は、単純な境界や測度でさえ経験的一般化ギャップと関連していることを示唆している。

関連論文リスト

• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Quantifying the Variability Collapse of Neural Networks [2.9551667607781607]
  最近発見されたNeural Collapse(NC)現象は、ニューラルネットワークの最後の層構造を理解するための新しい視点を提供する。 NCパラダイムにおける変動崩壊現象を定量化するために,変数崩壊指数(VCI)という新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-06-06T06:37:07Z)
• On the Lipschitz Constant of Deep Networks and Double Descent [5.381801249240512]
  ディープネットワークの一般化誤差に関する既存の境界は、入力変数への滑らかなあるいは有界な依存を仮定する。 二重降下中の深層ネットワークにおける経験的リプシッツ定数に関する実験的検討を行った。
  論文  参考訳（メタデータ） (2023-01-28T23:22:49Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Asymptotic-Preserving Neural Networks for multiscale hyperbolic models of epidemic spread [0.0]
  多くの状況において、感染症の空間的伝播は、多スケールのPDEによって管理される異なるスケールの個体の動きによって特徴づけられる。 複数のスケールが存在する場合、PINNの直接適用は一般的に、ニューラルネットワークの損失関数における微分モデルのマルチスケールの性質のため、結果の低下につながる。 本稿では,パンデミック拡散のマルチスケール多代謝輸送モデルのための新しいAPニューラルネットワーク(APNN)について考察する。
  論文  参考訳（メタデータ） (2022-06-25T11:25:47Z)
• Discretization Invariant Networks for Learning Maps between Neural Fields [3.09125960098955]
  離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
  論文  参考訳（メタデータ） (2022-06-02T17:44:03Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• On generalization bounds for deep networks based on loss surface implicit regularization [5.68558935178946]
  現代のディープニューラルネットワークは、多くのパラメータにもかかわらずよく一般化されている。 現在のディープニューラルネットワークは、多くのパラメータが古典的な統計的学習理論と矛盾するにもかかわらず、よく一般化されている。
  論文  参考訳（メタデータ） (2022-01-12T16:41:34Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。