論文の概要: From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines

• arxiv url: http://arxiv.org/abs/2007.07459v2
• Date: Tue, 8 Sep 2020 07:27:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 04:42:12.508654
• Title: From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines
• Title（参考訳）: 深部から浅部へ:カーネルクライン空間と不定支持ベクトルマシンの再現における深部ネットワークの等価形
• Authors: Alistair Shilton, Sunil Gupta, Santu Rana, Svetha Venkatesh
• Abstract要約: ディープネットワークを等価な(不確定な)カーネルマシンに変換します。 次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。 最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
• 参考スコア（独自算出の注目度）: 63.011641517977644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we explore a connection between deep networks and learning in reproducing kernel Krein space. Our approach is based on the concept of push-forward - that is, taking a fixed non-linear transform on a linear projection and converting it to a linear projection on the output of a fixed non-linear transform, pushing the weights forward through the non-linearity. Applying this repeatedly from the input to the output of a deep network, the weights can be progressively "pushed" to the output layer, resulting in a flat network that has the form of a fixed non-linear map (whose form is determined by the structure of the deep network) followed by a linear projection determined by the weight matrices - that is, we take a deep network and convert it to an equivalent (indefinite) kernel machine. We then investigate the implications of this transformation for capacity control and uniform convergence, and provide a Rademacher complexity bound on the deep network in terms of Rademacher complexity in reproducing kernel Krein space. Finally, we analyse the sparsity properties of the flat representation, showing that the flat weights are (effectively) Lp-"norm" regularised with 0<p<1 (bridge regression).
• Abstract（参考訳）: 本稿では,カーネルクレイン空間を再現する深層ネットワークと学習との関係について検討する。 すなわち、線形射影上で固定された非線形変換を、固定された非線形変換の出力上の線形射影に変換して、重みを非線形性を通して前進させる。 これを入力からディープネットワークの出力に繰り返し適用すると、重みは徐々に出力層に「プッシュ」され、その結果、固定された非線形写像の形をしたフラットネットワーク(これらの形式はディープネットワークの構造によって決定される)と、重み行列によって決定された線形射影(つまり、ディープネットワークを等価な(無限の)カーネルマシンに変換する。 次に、この変換がキャパシティ制御および均一収束に与える影響について検討し、カーネルKrein空間の再生におけるRadecher複雑性の観点から、ディープネットワーク上のRadecher複雑性を提供する。 最後に,平坦表現のスパーシティ特性を解析し,0<p<1 (ブリッジ回帰) で正規化した(効果的に)lp-"ノルム"であることを示した。

関連論文リスト

• Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
  独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。 これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。 行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
  論文  参考訳（メタデータ） (2023-10-11T18:00:02Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Redundancy in Deep Linear Neural Networks [0.0]
  従来の知恵によれば、ディープ線形ニューラルネットワークは1つの線形層に対して表現性と最適化の利点を享受する。 本稿では, 従来手法を用いた深層線形完全連結ネットワークのトレーニングプロセスが, 単層線形完全連結層と同じ方法で凸であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T13:21:00Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Deep orthogonal linear networks are shallow [9.434391240650266]
  勾配勾配降下による重みのトレーニングは、勾配勾配降下による全因子化のトレーニングと等価であることを示す。 これは、この設定では過度なパラメータ化と暗黙のバイアスがまったく影響しないことを意味する。
  論文  参考訳（メタデータ） (2020-11-27T16:57:19Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。