論文の概要: The sampling complexity of learning invertible residual neural networks

• arxiv url: http://arxiv.org/abs/2411.05453v1
• Date: Fri, 08 Nov 2024 10:00:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:39.380575
• Title: The sampling complexity of learning invertible residual neural networks
• Title（参考訳）: 学習可逆残差ニューラルネットワークのサンプリング複雑性
• Authors: Yuanyuan Li, Philipp Grohs, Philipp Petersen,
• Abstract要約: フィードフォワードReLUニューラルネットワークをポイントサンプルから高い均一な精度で決定することは、次元性の呪いに苦しむことが示されている。 我々は、特定のニューラルネットワークアーキテクチャを制限することでサンプリングの複雑さを改善することができるかどうかを考察する。 我々の主な結果は、残差ニューラルネットワークアーキテクチャと可逆性は、より単純なフィードフォワードアーキテクチャで遭遇する複雑性障壁を克服する助けにならないことを示している。
• 参考スコア（独自算出の注目度）: 9.614718680817269
• License:
• Abstract: In recent work it has been shown that determining a feedforward ReLU neural network to within high uniform accuracy from point samples suffers from the curse of dimensionality in terms of the number of samples needed. As a consequence, feedforward ReLU neural networks are of limited use for applications where guaranteed high uniform accuracy is required. We consider the question of whether the sampling complexity can be improved by restricting the specific neural network architecture. To this end, we investigate invertible residual neural networks which are foundational architectures in deep learning and are widely employed in models that power modern generative methods. Our main result shows that the residual neural network architecture and invertibility do not help overcome the complexity barriers encountered with simpler feedforward architectures. Specifically, we demonstrate that the computational complexity of approximating invertible residual neural networks from point samples in the uniform norm suffers from the curse of dimensionality. Similar results are established for invertible convolutional Residual neural networks.
• Abstract（参考訳）: 近年の研究では,フィードフォワードReLUニューラルネットワークを点検点から高い均一な精度で決定することは,必要なサンプル数の観点から次元性の呪いに苦しむことが示されている。 その結果、フィードフォワードReLUニューラルネットワークは、高い均一な精度が要求されるアプリケーションに限られている。 我々は、特定のニューラルネットワークアーキテクチャを制限することでサンプリングの複雑さを改善することができるかどうかを考察する。 そこで本研究では,ディープラーニングの基本的アーキテクチャである非可逆残ニューラルネットワークについて検討し,近代的な生成手法を生かしたモデルに広く採用されている。 我々の主な結果は、残差ニューラルネットワークアーキテクチャと可逆性は、より単純なフィードフォワードアーキテクチャで遭遇する複雑性障壁を克服する助けにならないことを示している。 具体的には、一様ノルムの点サンプルから可逆的残差ニューラルネットワークを近似する計算複雑性が、次元の呪いに悩まされていることを実証する。 同様に、非可逆畳み込み残差ニューラルネットワークにも同様の結果が確立されている。

関連論文リスト

• Residual Random Neural Networks [0.0]
  ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。 隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:00:11Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Global quantitative robustness of regression feed-forward neural networks [0.0]
  我々は回帰分解点の概念を回帰ニューラルネットワークに適用する。 我々は、故障率のプロキシにより、サンプル外損失によって測定された性能を比較した。 この結果は、ニューラルネットワークのトレーニングにロバストな損失関数を使うことを動機付けている。
  論文  参考訳（メタデータ） (2022-11-18T09:57:53Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
  線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。 層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
  論文  参考訳（メタデータ） (2021-12-08T16:17:33Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)
• Modeling the Nonsmoothness of Modern Neural Networks [35.93486244163653]
  ピークの大きさの和(SMP)という特徴を用いて不滑らかさを定量化する。 この非平滑性機能は、ニューラルネットワークの回帰ベースのアプリケーションのためのフォレンジックツールとして利用される可能性があると考えます。
  論文  参考訳（メタデータ） (2021-03-26T20:55:19Z)
• Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation [60.80172153614544]
  訓練されていない畳み込みニューラルネットワークは、画像の回復と復元に非常に成功したツールとして登場した。 トレーニングされていない畳み込みニューラルネットワークは、ほぼ最小限のランダムな測定値から、十分に構造化された信号や画像を概ね再構成可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:57:25Z)
• Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
  本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。 上記の問題に対処するための特徴歪み法(Disout)を提案する。 より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
  論文  参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。