論文の概要: When Are Bias-Free ReLU Networks Like Linear Networks?

• arxiv url: http://arxiv.org/abs/2406.12615v1
• Date: Tue, 18 Jun 2024 13:43:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 18:48:22.607651
• Title: When Are Bias-Free ReLU Networks Like Linear Networks?
• Title（参考訳）: バイアスフリーのReLUネットワークはいつリニアネットワークになるのか?
• Authors: Yedi Zhang, Andrew Saxe, Peter E. Latham,
• Abstract要約: バイアスのないReLUネットワークは線形ネットワークと同じ学習力学を持つことを示す。 バイアスのないReLUネットワークは2層ネットワークよりも表現力が高いが、深い線形ネットワークと多くの類似点を共有している。
• 参考スコア（独自算出の注目度）: 7.197469507060226
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We investigate the expressivity and learning dynamics of bias-free ReLU networks. We firstly show that two-layer bias-free ReLU networks have limited expressivity: the only odd function two-layer bias-free ReLU networks can express is a linear one. We then show that, under symmetry conditions on the data, these networks have the same learning dynamics as linear networks. This allows us to give closed-form time-course solutions to certain two-layer bias-free ReLU networks, which has not been done for nonlinear networks outside the lazy learning regime. While deep bias-free ReLU networks are more expressive than their two-layer counterparts, they still share a number of similarities with deep linear networks. These similarities enable us to leverage insights from linear networks, leading to a novel understanding of bias-free ReLU networks. Overall, our results show that some properties established for bias-free ReLU networks arise due to equivalence to linear networks, and suggest that including bias or considering asymmetric data are avenues to engage with nonlinear behaviors.
• Abstract（参考訳）: バイアスのないReLUネットワークの表現性と学習ダイナミクスについて検討する。 まず、2層バイアスのないReLUネットワークは限定的な表現性を持つことを示す: 唯一の奇関数である2層バイアスのないReLUネットワークは線形である。 次に、データ上の対称性条件下では、これらのネットワークは線形ネットワークと同じ学習力学を持つことを示す。 これにより、遅延学習体制以外の非線形ネットワークでは行われていない2層バイアスのないReLUネットワークに対して、閉形式の時間軸解を与えることができる。 ディープバイアスのないReLUネットワークは2層ネットワークよりも表現力が高いが、ディープ線形ネットワークと多くの類似点を共有している。 これらの類似性により線形ネットワークからの洞察を活用でき、バイアスのないReLUネットワークの新たな理解につながる。 以上の結果から, 線形ネットワークと等価性から, バイアスのないReLUネットワークに確立されたいくつかの特性が生じることが示唆され, バイアスや非対称データを考慮した場合の非線形挙動への関与が示唆された。

関連論文リスト

• Simultaneous linear connectivity of neural networks modulo permutation [38.833555803442835]
  最近の研究は、置換対称性は適切に置換されたソースのみであると主張している。 対照的に、各対のネットワークに対して、他のネットワークと接続する1つの置換が存在するという主張は「強く」存在する。
  論文  参考訳（メタデータ） (2024-04-09T17:50:38Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• On Privileged and Convergent Bases in Neural Network Representations [7.888192939262696]
  WideResNetsのような広帯域ネットワークにおいても、ニューラルネットワークは独自の基盤に収束しないことを示す。 また,ベース相関の尺度として研究されている線形モード接続性の解析を行った。
  論文  参考訳（メタデータ） (2023-07-24T17:11:39Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Implicit Regularization Towards Rank Minimization in ReLU Networks [34.41953136999683]
  ニューラルネットワークにおける暗黙の正規化とランク最小化の関係について検討する。 我々は非線形ReLUネットワークに焦点をあて、いくつかの新しい正および負の結果を提供する。
  論文  参考訳（メタデータ） (2022-01-30T09:15:44Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。