論文の概要: Learning on a Razor's Edge: the Singularity Bias of Polynomial Neural Networks

• arxiv url: http://arxiv.org/abs/2505.11846v1
• Date: Sat, 17 May 2025 05:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.891512
• Title: Learning on a Razor's Edge: the Singularity Bias of Polynomial Neural Networks
• Title（参考訳）: ラザーズエッジの学習:多項式ニューラルネットワークの特異性バイアス
• Authors: Vahid Shahverdi, Giovanni Luca Marchetti, Kathlén Kohn,
• Abstract要約: 我々は、アクティベーション関数を持つ完全接続ネットワークを考察し、それらがパラメータ化する関数空間に焦点をあてる。 まず、ニューロワークによってパラメータ化されたニューロマニフォールドの部分空間の次元を計算する。 第二に、この部分空間は特異であることを示す。 第三に、そのような特異点はしばしば訓練力学の臨界点に対応する。
• 参考スコア（独自算出の注目度）: 2.9816332334719773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks often infer sparse representations, converging to a subnetwork during the learning process. In this work, we theoretically analyze subnetworks and their bias through the lens of algebraic geometry. We consider fully-connected networks with polynomial activation functions, and focus on the geometry of the function space they parametrize, often referred to as neuromanifold. First, we compute the dimension of the subspace of the neuromanifold parametrized by subnetworks. Second, we show that this subspace is singular. Third, we argue that such singularities often correspond to critical points of the training dynamics. Lastly, we discuss convolutional networks, for which subnetworks and singularities are similarly related, but the bias does not arise.
• Abstract（参考訳）: ディープニューラルネットワークはしばしばスパース表現を推論し、学習プロセス中にサブネットワークに収束する。 本研究では,代数幾何学のレンズを用いて,サブネットワークとそのバイアスを理論的に解析する。 多項式活性化関数を持つ完全連結ネットワークを考察し、それらがパラメトリケートする関数空間の幾何(しばしばニューロマニフォールド)に焦点を当てる。 まず、サブネットワークによってパラメータ化されたニューロマニフォールドの部分空間の次元を計算する。 第二に、この部分空間は特異であることを示す。 第三に、そのような特異点はしばしば訓練力学の臨界点に対応する。 最後に、サブネットと特異点が類似する畳み込みネットワークについて論じるが、バイアスは発生しない。

関連論文リスト

• Geometry of Polynomial Neural Networks [3.498371632913735]
  単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。 これらの理論的結果は実験を伴う。
  論文  参考訳（メタデータ） (2024-02-01T19:06:06Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Neural networks learn to magnify areas near decision boundaries [32.84188052937496]
  本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。 まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。 分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
  論文  参考訳（メタデータ） (2023-01-26T19:43:16Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
  データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。 有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
  論文  参考訳（メタデータ） (2020-06-10T02:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。