論文の概要: Polynomial Residual Networks are Generically Identifiable
- arxiv url: http://arxiv.org/abs/2610.33738v1
- Date: Sat, 24 Oct 2026 15:28:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.432228
- Title: Polynomial Residual Networks are Generically Identifiable
- Title(参考訳): 多項式残差ネットワークは遺伝的に識別できる
- Abstract要約: アクティベーションとバイアス項を持つ定数幅残差ネットワークに対する識別可能性を示す。
さらに、ResNetパラメトリゼーションの臨界点に必要な条件を導出する。
- 参考スコア(独自算出の注目度): 6.411951713138482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove identifiability results for constant-width residual networks with polynomial activations and bias terms. For activations of degree at least five with generic coefficients, the fiber over a generic parameter is a singleton. For activations of degree at least three with no linear term after a suitable translation of the input, the generic fiber is given by translating biases and then scaling weights and translated biases by real roots of unity. These results specialize to networks without bias terms. With the same proof technique, we further derive necessary conditions for critical points of the ResNet parametrization, that are central in singular learning theory.
- Abstract(参考訳): 多項式アクティベーションとバイアス項を持つ定数幅残差ネットワークに対する識別可能性を示す。
一般係数を持つ次数5の活性化に対して、ジェネリックパラメータ上のファイバーはシングルトンである。
入力の適切な変換の後、線形項のない次数3の活性化に対して、ジェネリックファイバーは、バイアスを変換し、重みをスケーリングし、実際のユニティの根による変換バイアスを与える。
これらの結果はバイアス項のないネットワークに特化している。
同じ証明手法により、特異学習理論の中心となるResNetパラメトリゼーションの臨界点に必要な条件をさらに導出する。
関連論文リスト
- Interpretable Activation-Selection Neural Networks for Symbolic Regression of Parameter-Dependent Hamiltonian Eigenvalues [45.88028371034407]
本稿では,アクティベーション・セレクション・ネットワーク (ASN) を導入する。
各入力ノードは、予め定義された分析関数のスパース結合を学習し、トレーニングされたネットワークを直接明示的な表現に変換することができる。
ASNを、ゼロ量子核磁気共鳴に関連する有効3-および4-サイトスピン鎖ハミルトンに応用する。
論文 参考訳(メタデータ) (2026-08-26T07:45:10Z) - Structural Correspondence and Universal Approximation in Diagonal plus Low-Rank Neural Networks [20.012790053758078]
最小限の対角成分しか持たない低ランク層の拡大はユニバーサル近似に到達するのに十分であることを示す。
また、DLoRニューラルネットワークが一般活性化関数のユニバーサル近似定理を完全に復元していることも証明した。
論文 参考訳(メタデータ) (2026-05-07T04:21:04Z) - Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
具体的には、提案した固有値補正戦略により、固有値の均一分布が向上し、フィルタの適合能力と表現力が向上する。
論文 参考訳(メタデータ) (2024-01-28T08:12:00Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。
隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。
スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文 参考訳(メタデータ) (2022-02-13T07:12:02Z) - Fixed points of nonnegative neural networks [6.7113569772720565]
まず、非負の重みとバイアスを持つ非負のニューラルネットワークは、モノトニックで(弱く)スケーラブルなマッピングとして認識できることを示す。
非負の重みとバイアスを持つ非負のニューラルネットワークの固定点集合の形状が間隔であることを証明する。
論文 参考訳(メタデータ) (2021-06-30T17:49:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。