論文の概要: Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks

• arxiv url: http://arxiv.org/abs/2307.01649v1
• Date: Tue, 4 Jul 2023 11:08:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 17:18:04.348198
• Title: Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks
• Title（参考訳）: オーバーパラメータ付き畳み込み残差ネットワークを用いた低次元多様体の非パラメトリック分類
• Authors: Kaiqi Zhang, Zixuan Zhang, Minshuo Chen, Mengdi Wang, Tuo Zhao, Yu-Xiang Wang
• Abstract要約: 非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
• 参考スコア（独自算出の注目度）: 73.71067579761586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional residual neural networks (ConvResNets), though overparameterized, can achieve remarkable prediction performance in practice, which cannot be well explained by conventional wisdom. To bridge this gap, we study the performance of ConvResNeXts, which cover ConvResNets as a special case, trained with weight decay from the perspective of nonparametric classification. Our analysis allows for infinitely many building blocks in ConvResNeXts, and shows that weight decay implicitly enforces sparsity on these blocks. Specifically, we consider a smooth target function supported on a low-dimensional manifold, then prove that ConvResNeXts can adapt to the function smoothness and low-dimensional structures and efficiently learn the function without suffering from the curse of dimensionality. Our findings partially justify the advantage of overparameterized ConvResNeXts over conventional machine learning models.
• Abstract（参考訳）: 畳み込み残留ニューラルネットワーク(convolutional residual neural network, convresnets)は、過パラメータ化されているものの、実際には驚くべき予測性能を達成することができる。 このギャップを埋めるために,ConvResNeXtsの性能について検討する。これはConvResNetsを特別なケースとしてカバーし,非パラメトリック分類の観点から重量減衰を訓練する。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。 具体的には、低次元多様体上で支持される滑らかな対象関数を考えることで、convresnextsが関数の滑らかさや低次元構造に適応できることを証明し、次元の呪いに苦しむことなく効率的に関数を学習する。 従来の機械学習モデルに比べて過パラメータ化されたConvResNeXtの利点を部分的に正当化する。

関連論文リスト

• Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning [4.7027290803102675]
  動的パラメータランクプルーニングによるCNN圧縮の効率的なトレーニング手法を提案する。 提案手法は, 分類性能の維持や向上を図りながら, かなりの蓄えを得られることを示す。
  論文  参考訳（メタデータ） (2024-01-15T23:52:35Z)
• Scalable Neural Network Kernels [22.299704296356836]
  我々は、通常のフィードフォワード層(FFL)を近似できるスケーラブルニューラルネットワークカーネル(SNNK)を導入する。 また、深層ニューラルネットワークアーキテクチャのコンパクト化にSNNKを適用するニューラルネットワークバンドルプロセスについても紹介する。 我々のメカニズムは、競争精度を維持しながら、トレーニング可能なパラメータの最大5倍の削減を可能にする。
  論文  参考訳（メタデータ） (2023-10-20T02:12:56Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• A Deeper Look into Convolutions via Pruning [9.89901717499058]
  現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。 この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。 本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
  論文  参考訳（メタデータ） (2021-02-04T18:55:03Z)
• SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping [43.37989928043927]
  我々は,チャネル冗長性を低減し,CNNの性能を高めるために,新しいSlim Convolution(SlimConv)モジュールを設計する。 SlimConvは、Reconstruct、Transform、Fuseの3つの主要なステップで構成されている。 我々は、ImageNet、MS2014、Pascal VOC2012セグメンテーション、Pascal VOC2007検出データセットに関する総合的な実験を行い、SlimConvの有効性を検証する。
  論文  参考訳（メタデータ） (2020-03-16T23:23:10Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。