論文の概要: ResNEsts and DenseNEsts: Block-based DNN Models with Improved Representation Guarantees

• arxiv url: http://arxiv.org/abs/2111.05496v1
• Date: Wed, 10 Nov 2021 02:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 15:07:02.816030
• Title: ResNEsts and DenseNEsts: Block-based DNN Models with Improved Representation Guarantees
• Title（参考訳）: ResnestsとDenseNEsts: 表現保証を改善したブロックベースDNNモデル
• Authors: Kuan-Lin Chen, Ching-Hua Lee, Harinath Garudadri, Bhaskar D. Rao
• Abstract要約: 文献証明ネットワーク(ResNet)で最近使用されたモデルは、線形予測器よりも優れているが、実際には標準のResNetと異なる。 ボトルネックブロックを持つ広いResNEstは、常に非常に望ましいトレーニングプロパティを保証できることを示す。 ResNEstsとは異なり、DenseNEstsは特別なアーキテクチャの再設計なしに望ましい財産を展示している。
• 参考スコア（独自算出の注目度）: 25.568699776077164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models recently used in the literature proving residual networks (ResNets) are better than linear predictors are actually different from standard ResNets that have been widely used in computer vision. In addition to the assumptions such as scalar-valued output or single residual block, these models have no nonlinearities at the final residual representation that feeds into the final affine layer. To codify such a difference in nonlinearities and reveal a linear estimation property, we define ResNEsts, i.e., Residual Nonlinear Estimators, by simply dropping nonlinearities at the last residual representation from standard ResNets. We show that wide ResNEsts with bottleneck blocks can always guarantee a very desirable training property that standard ResNets aim to achieve, i.e., adding more blocks does not decrease performance given the same set of basis elements. To prove that, we first recognize ResNEsts are basis function models that are limited by a coupling problem in basis learning and linear prediction. Then, to decouple prediction weights from basis learning, we construct a special architecture termed augmented ResNEst (A-ResNEst) that always guarantees no worse performance with the addition of a block. As a result, such an A-ResNEst establishes empirical risk lower bounds for a ResNEst using corresponding bases. Our results demonstrate ResNEsts indeed have a problem of diminishing feature reuse; however, it can be avoided by sufficiently expanding or widening the input space, leading to the above-mentioned desirable property. Inspired by the DenseNets that have been shown to outperform ResNets, we also propose a corresponding new model called Densely connected Nonlinear Estimator (DenseNEst). We show that any DenseNEst can be represented as a wide ResNEst with bottleneck blocks. Unlike ResNEsts, DenseNEsts exhibit the desirable property without any special architectural re-design.
• Abstract（参考訳）: 残差ネットワーク(ResNets)が線形予測器よりも優れていることを示す文献で最近使われているモデルは、コンピュータビジョンで広く使われている標準のResNetと実際に異なる。 スカラー値出力や単一残差ブロックといった仮定に加えて、これらのモデルは最終アフィン層に供給する最後の残差表現において非線形性を持たない。 このような非線形性の違いを体系化し、線形推定特性を明らかにするために、標準レネットから最後の残差表現で非線形性を単純に落とすことで、残差非線形推定子(resnests)を定義する。 ボトルネックブロックを持つ幅広いリネストは、標準レネクタが達成しようとしている非常に望ましいトレーニング特性を常に保証できること、つまり、ブロックの追加は、同じ基底要素のセットを考えると、パフォーマンスを低下させないことを示している。 それを証明するために、まず、基礎学習と線形予測において結合問題によって制限される基底関数モデルとして認識する。 そして,予測重みを基礎学習から切り離すため,ブロックの追加による性能の悪化を常に保証する拡張ResNEst(A-ResNEst)と呼ばれる特殊なアーキテクチャを構築した。 その結果、a−レジストは、対応するベースを用いたレジストに対する経験的リスク下限を確立する。 以上の結果から,resnestsは機能再利用を減少させる問題があるが,入力空間を十分に拡大あるいは拡大することで回避でき,上述の望ましい特性をもたらす。 また,ResNetsより優れていることを示すDenseNetsに着想を得て,Densely connected linear Estimator (DenseNEst) と呼ばれる新しいモデルを提案する。 我々は,任意の DenseNEst が,ボトルネックブロックを持つワイド ResNEst として表現可能であることを示す。 ResNEstsとは異なり、DenseNEstsは特別なアーキテクチャの再設計なしに望ましい特性を示す。

関連論文リスト

• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Global convergence of ResNets: From finite to infinite width using linear parameterization [0.0]
  残差ブロックが非線形でありながら線形パラメトリゼーションを有する残差ネットワーク(Residual Networks, ResNets)について検討する。 この極限において、局所的なポリアック・ロジャシエヴィチの不等式を証明し、遅延状態を取得する。 私たちの分析は実用的で定量化されたレシピにつながります。
  論文  参考訳（メタデータ） (2021-12-10T13:38:08Z)
• Approximation properties of Residual Neural Networks for Kolmogorov PDEs [0.0]
  ResNets はコルモゴロフ偏微分方程式を定数拡散とおそらく非線形勾配係数で近似できることを示す。 FNNとは対照的に、ResNetsのEuler-Maruyama近似構造は、ResNetsの近似の構成を大幅に単純化する。
  論文  参考訳（メタデータ） (2021-10-30T09:28:49Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Do ideas have shape? Idea registration as the continuous limit of artificial neural networks [0.609170287691728]
  本稿では,ResNetsが無限深度限界において,画像登録変分アルゴリズムの一般化に収束することを示す。 本稿では、ハミルトン力学駆動流れに対するトレーニングされた重みとバイアスを持つResNetsの収束の最初の厳密な証明を示す。
  論文  参考訳（メタデータ） (2020-08-10T06:46:43Z)
• Understanding and Mitigating Exploding Inverses in Invertible Neural Networks [12.158549746821913]
  Invertible Neural Network (INN) は、生成モデルを設計し、メモリ節約勾配計算を実装し、逆問題を解決するために使われている。 本研究は,よく使われる INN アーキテクチャが爆発する逆数に悩まされ,数値的に非可逆になる傾向にあることを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:44:28Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)
• On generalized residue network for deep learning of unknown dynamical systems [3.350695583277162]
  我々は、ディープニューラルネットワーク(DNN)を用いた未知の力学系を学習するための一般的な数値的手法を提案する。 提案手法は,残余ネットワーク(ResNet)を有効なニューラルネットワーク構造として同定した最近の研究に基づいている。
  論文  参考訳（メタデータ） (2020-01-23T01:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。