論文の概要: Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm

• arxiv url: http://arxiv.org/abs/2102.12238v1
• Date: Wed, 24 Feb 2021 12:01:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-25 13:41:05.837143
• Title: Inductive Bias of Multi-Channel Linear Convolutional Networks with Bounded Weight Norm
• Title（参考訳）: 境界重ノルムを有する多チャンネル線形畳み込みネットワークの誘導バイアス
• Authors: Meena Jagadeesan, Ilya Razenshteyn, Suriya Gunasekar
• Abstract要約: 線形畳み込みネットワークにおける重みの$ell$ノルムを制御することによって生じる誘導バイアスの関数空間特性を検討する。 十分に大きな$c$ に対して、誘導正規化子 $k=1$ と $k=d$ はそれぞれ核ノルムと $ell_2,1$ グループスパースノルムである。
• 参考スコア（独自算出の注目度）: 15.08164172607321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the function space characterization of the inductive bias resulting from controlling the $\ell_2$ norm of the weights in linear convolutional networks. We view this in terms of an induced regularizer in the function space given by the minimum norm of weights required to realize a linear function. For two layer linear convolutional networks with $C$ output channels and kernel size $K$, we show the following: (a) If the inputs to the network have a single channel, the induced regularizer for any $K$ is a norm given by a semidefinite program (SDP) that is independent of the number of output channels $C$. We further validate these results through a binary classification task on MNIST. (b) In contrast, for networks with multi-channel inputs, multiple output channels can be necessary to merely realize all matrix-valued linear functions and thus the inductive bias does depend on $C$. Further, for sufficiently large $C$, the induced regularizer for $K=1$ and $K=D$ are the nuclear norm and the $\ell_{2,1}$ group-sparse norm, respectively, of the Fourier coefficients -- both of which promote sparse structures.
• Abstract（参考訳）: 線形畳み込みネットワークにおける重みの$\ell_2$ノルムを制御することによって生じる誘導バイアスの関数空間特性を検討する。 線形関数の実現に必要な重みの最小ノルムによって与えられる関数空間における誘導正規化の観点でこれを見る。 c$ 出力チャネルとカーネルサイズ $k$ を持つ2つの層線形畳み込みネットワークに対して、以下のように示す: (a) ネットワークへの入力が1つのチャネルを持つ場合、任意の$k$ に対する誘導正規化子は、$c$ の出力チャネルの数とは無関係な半定値プログラム (sdp) によって与えられるノルムである。 MNISTのバイナリ分類タスクにより、これらの結果をさらに検証する。 (b)対照的に、マルチチャネル入力を持つネットワークでは、行列値線型関数を単純に実現するために複数の出力チャネルが必要であるため、帰納バイアスは$c$に依存する。 さらに、十分に大きな$c$ に対して、誘導正規化子 $k=1$ と $k=d$ はそれぞれフーリエ係数の核ノルムであり、どちらもスパース構造を促進する $\ell_{2,1}$ 群スパースノルムである。

関連論文リスト

• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Deterministic identification over channels with finite output: a dimensional perspective on superlinear rates [49.126395046088014]
  有限出力であるが任意の入力アルファベットを持つメモリレスチャネルに対する一般性の問題を考える。 主な発見は、メッセージの最大長が$R,nlog n$、ブロック長$n$と超直線的にスケールすることである。 出力分布のペアの信頼性を保証し、DIコードを構築するのに十分であることを示す。
  論文  参考訳（メタデータ） (2024-02-14T11:59:30Z)
• Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias [4.37441734515066]
  $mathcalR$-normは、2層ニューラルネットワークの誘導バイアスの基礎である。 これらの補間子は,データに適合するリッジ関数があっても,本質的に多変量関数であることがわかった。
  論文  参考訳（メタデータ） (2022-06-10T18:33:15Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
  本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。 経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-09-20T05:25:52Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
  線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。 本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:35Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。