論文の概要: Singular Learning and Occam's Razor in Deep Monomial Networks

• arxiv url: http://arxiv.org/abs/2606.28464v1
• Date: Fri, 26 Jun 2026 13:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.577072
• Title: Singular Learning and Occam's Razor in Deep Monomial Networks
• Title（参考訳）: 深部モノラルネットワークにおける特異学習とオッカムラザー
• Abstract要約: ニューラルネットワークの最適化において、力学はモデルのアーキテクチャから生じる臨界点に影響される。 代数を経由した単項活性化を伴う完全連結ネットワークにおけるそのような点について検討する。 これはディープニューラルネットワークにおける暗黙のバイアスに関する数学的視点を提供し、これらのモデルがより単純な関数に収束する傾向を説明する。
• 参考スコア（独自算出の注目度）: 6.602002946878127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the optimization of neural networks, gradient dynamics are influenced by critical points that arise from the model's architecture. These critical points occur where the Jacobian of the model's parametrization is rank-deficient, and are the most pronounced singularities studied in Singular Learning Theory. We investigate such points in deep fully-connected networks with monomial activations via tools from polynomial algebra such as Mason's Theorem. We show that, for sufficiently large activation degree, criticality occurs precisely at subnetworks, i.e., at parameter configurations where some neurons are inactive or redundant. This offers a mathematical perspective on the implicit bias in deep neural networks, explaining the tendency of these models to converge toward simpler functions.
• Abstract（参考訳）: ニューラルネットワークの最適化において、勾配力学はモデルのアーキテクチャから生じる臨界点に影響される。 これらの臨界点は、モデルのパラメトリゼーションのヤコビアンがランク不足であり、Singular Learning Theoryにおいて最も顕著な特異点である。 我々は、メイソンの定理のような多項式代数の道具を用いて、単項活性化を伴う深い完全連結ネットワークにおけるそのような点について検討する。 十分に大きな活性化度において、臨界度はサブネットワークス、すなわち、いくつかのニューロンが不活性または冗長であるパラメータ設定で正確に発生することを示す。 これはディープニューラルネットワークにおける暗黙のバイアスに関する数学的視点を提供し、これらのモデルがより単純な関数に収束する傾向を説明する。

関連論文リスト

• Approximation Theory for Neural Networks: Old and New [1.6300219183960216]
  普遍近似は、ニューラルネットワークの表現力に関する数学的説明を提供する。 単層ネットワークの古典的密度結果と近似誤差とネットワークサイズの関係を定量的に検討した。 Kolmogorov--Arnold Networks (KAN) の最近の開発は、代替アーキテクチャパラダイムを提供する。
  論文  参考訳（メタデータ） (2026-05-20T17:42:34Z)
• Learning on a Razor's Edge: the Singularity Bias of Polynomial Neural Networks [2.9816332334719773]
  我々は、アクティベーション関数を持つ完全接続ネットワークを考察し、それらがパラメータ化する関数空間に焦点をあてる。 まず、ニューロワークによってパラメータ化されたニューロマニフォールドの部分空間の次元を計算する。 第二に、この部分空間は特異であることを示す。 第三に、そのような特異点はしばしば訓練力学の臨界点に対応する。
  論文  参考訳（メタデータ） (2025-05-17T05:11:17Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Towards Explaining Hypercomplex Neural Networks [6.543091030789653]
  ハイパーコンプレックスニューラルネットワークは、ディープラーニングコミュニティへの関心が高まっている。 本稿では,本質的に解釈可能なPHNNと4元ネットワークを提案する。 我々は、このユニークなニューラルネットワークのブランチがどのように機能するかを洞察する。
  論文  参考訳（メタデータ） (2024-03-26T17:58:07Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。