論文の概要: Modeling the Nonsmoothness of Modern Neural Networks

• arxiv url: http://arxiv.org/abs/2103.14731v1
• Date: Fri, 26 Mar 2021 20:55:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 14:34:45.401118
• Title: Modeling the Nonsmoothness of Modern Neural Networks
• Title（参考訳）: 現代ニューラルネットワークの非平滑性モデリング
• Authors: Runze Liu, Chau-Wai Wong, Huaiyu Dai
• Abstract要約: ピークの大きさの和(SMP)という特徴を用いて不滑らかさを定量化する。 この非平滑性機能は、ニューラルネットワークの回帰ベースのアプリケーションのためのフォレンジックツールとして利用される可能性があると考えます。
• 参考スコア（独自算出の注目度）: 35.93486244163653
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern neural networks have been successful in many regression-based tasks such as face recognition, facial landmark detection, and image generation. In this work, we investigate an intuitive but understudied characteristic of modern neural networks, namely, the nonsmoothness. The experiments using synthetic data confirm that such operations as ReLU and max pooling in modern neural networks lead to nonsmoothness. We quantify the nonsmoothness using a feature named the sum of the magnitude of peaks (SMP) and model the input-output relationships for building blocks of modern neural networks. Experimental results confirm that our model can accurately predict the statistical behaviors of the nonsmoothness as it propagates through such building blocks as the convolutional layer, the ReLU activation, and the max pooling layer. We envision that the nonsmoothness feature can potentially be used as a forensic tool for regression-based applications of neural networks.
• Abstract（参考訳）: 現代のニューラルネットワークは、顔認識、顔のランドマーク検出、画像生成など、多くの回帰ベースのタスクで成功している。 本研究では,現代のニューラルネットワーク,すなわち非滑らか性の特徴を直感的に検討する。 合成データを用いた実験により、現代のニューラルネットワークにおけるReLUや最大プーリングのような操作が非滑らか性につながることを確認した。 本研究では,SMP(Size of peaks)と呼ばれる特徴を用いて非滑らか性を定量化し,現代のニューラルネットワーク構築ブロックの入出力関係をモデル化する。 実験の結果, 本モデルは畳み込み層, reluアクティベーション, マックスプーリング層などのビルディングブロックを通して伝播する非スムースネスの統計的挙動を正確に予測できることが確認された。 非滑らか性機能は、ニューラルネットワークの回帰に基づく応用のための法医学的ツールとして使用することができると想定している。

関連論文リスト

• The sampling complexity of learning invertible residual neural networks [9.614718680817269]
  フィードフォワードReLUニューラルネットワークをポイントサンプルから高い均一な精度で決定することは、次元性の呪いに苦しむことが示されている。 我々は、特定のニューラルネットワークアーキテクチャを制限することでサンプリングの複雑さを改善することができるかどうかを考察する。 我々の主な結果は、残差ニューラルネットワークアーキテクチャと可逆性は、より単純なフィードフォワードアーキテクチャで遭遇する複雑性障壁を克服する助けにならないことを示している。
  論文  参考訳（メタデータ） (2024-11-08T10:00:40Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• SpikiLi: A Spiking Simulation of LiDAR based Real-time Object Detection for Autonomous Driving [0.0]
  Spiking Neural Networksは、電力効率、計算効率、処理遅延を大幅に改善する新しいニューラルネットワーク設計アプローチである。 まず,複雑なディープラーニングタスク,すなわちLidarベースの3Dオブジェクト検出による自動運転への適用性について説明する。
  論文  参考訳（メタデータ） (2022-06-06T20:05:17Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Stochastic Recurrent Neural Network for Multistep Time Series Forecasting [0.0]
  我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。 私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
  論文  参考訳（メタデータ） (2021-04-26T01:43:43Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。