論文の概要: Are All Linear Regions Created Equal?

• arxiv url: http://arxiv.org/abs/2202.11749v1
• Date: Wed, 23 Feb 2022 19:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-26 09:38:48.445892
• Title: Are All Linear Regions Created Equal?
• Title（参考訳）: すべての線形領域は等しいか?
• Authors: Matteo Gamba, Adrian Chmielewski-Anders, Josephine Sullivan, Hossein Azizpour, M{\aa}rten Bj\"orkman
• Abstract要約: 本稿では, 線形領域の発見に有効なアルゴリズムを提案し, トレーニングされたVGGとResNetの非線形性を捉えるための密度の有効性について検討する。 本研究では, 線形領域の局所的類似度を増大させるとともに, 実験誤差を減少させ, 線形領域の局所的類似度を高めた。
• 参考スコア（独自算出の注目度）: 4.619828919345113
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The number of linear regions has been studied as a proxy of complexity for ReLU networks. However, the empirical success of network compression techniques like pruning and knowledge distillation, suggest that in the overparameterized setting, linear regions density might fail to capture the effective nonlinearity. In this work, we propose an efficient algorithm for discovering linear regions and use it to investigate the effectiveness of density in capturing the nonlinearity of trained VGGs and ResNets on CIFAR-10 and CIFAR-100. We contrast the results with a more principled nonlinearity measure based on function variation, highlighting the shortcomings of linear regions density. Furthermore, interestingly, our measure of nonlinearity clearly correlates with model-wise deep double descent, connecting reduced test error with reduced nonlinearity, and increased local similarity of linear regions.
• Abstract（参考訳）: 線形領域の数はReLUネットワークの複雑性のプロキシとして研究されている。 しかし, プルーニングや知識蒸留といったネットワーク圧縮手法の実証的な成功は, 過度なパラメータ設定では, 線形領域密度が有効非線形性を捉えることができないことを示唆している。 本研究では,CIFAR-10 および CIFAR-100 上での訓練された VGG および ResNet の非線形性を捉える際の密度の有効性を検討するために,線形領域を発見するための効率的なアルゴリズムを提案する。 関数の変動に基づくより原理化された非線形性尺度と対比し、線形領域密度の欠点を強調する。 さらに, 非線形性の尺度は, 実験誤差の低減と非線形性の低減, 線形領域の局所的類似性の向上など, モデルワイド二重降下と明確に相関している。

関連論文リスト

• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Getting Away with More Network Pruning: From Sparsity to Geometry and Linear Regions [24.145261729258195]
  線形領域の数に空間がどう影響するかを示し,提案した最大値の有界値を示す。 境界を最大化するためにレイヤ間の間隔を選択することは、すべてのレイヤで同じ間隔でプルーニングするのに比べて、精度を非常に向上させることがわかりました。
  論文  参考訳（メタデータ） (2023-01-19T09:41:35Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
  自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。 本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。 その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
  論文  参考訳（メタデータ） (2021-05-25T14:12:04Z)
• DISCO Verification: Division of Input Space into COnvex polytopes for neural network verification [0.0]
  現代のニューラルネットワークの印象的な結果の一部は、その非線形な振る舞いによるものだ。 本稿では,複数の線形部分問題に分割することで検証問題を単純化する手法を提案する。 また,訓練中の線形領域数を減らすことを目的とした手法の効果について述べる。
  論文  参考訳（メタデータ） (2021-05-17T12:40:51Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Multiscale Non-stationary Stochastic Bandits [83.48992319018147]
  本稿では,非定常線形帯域問題に対して,Multiscale-LinUCBと呼ばれる新しいマルチスケール変更点検出法を提案する。 実験結果から,提案手法は非定常環境下での他の最先端アルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-02-13T00:24:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。