論文の概要: Spontaneous Kolmogorov-Arnold Geometry in Shallow MLPs
- arxiv url: http://arxiv.org/abs/2509.12326v1
- Date: Mon, 15 Sep 2025 18:00:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.705082
- Title: Spontaneous Kolmogorov-Arnold Geometry in Shallow MLPs
- Title（参考訳）: 浅MLPにおける自発Kolmogorov-Arnold形状
- Authors: Michael Freedman, Michael Mulligan,
- Abstract要約: コルモゴロフ・アルノルド(英語版)(KA)表現定理は、隠れた層ニューラルネットワークにおいて普遍的であるが、非滑らかな内部関数を構成する。
KA幾何は、$J(mathbfx)$のスケールと軸アライメントを測定する$J(mathbfx)$の外部パワーの統計的性質を通じて定量化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Kolmogorov-Arnold (KA) representation theorem constructs universal, but highly non-smooth inner functions (the first layer map) in a single (non-linear) hidden layer neural network. Such universal functions have a distinctive local geometry, a "texture," which can be characterized by the inner function's Jacobian $J({\mathbf{x}})$, as $\mathbf{x}$ varies over the data. It is natural to ask if this distinctive KA geometry emerges through conventional neural network optimization. We find that indeed KA geometry often is produced when training vanilla single hidden layer neural networks. We quantify KA geometry through the statistical properties of the exterior powers of $J(\mathbf{x})$: number of zero rows and various observables for the minor statistics of $J(\mathbf{x})$, which measure the scale and axis alignment of $J(\mathbf{x})$. This leads to a rough understanding for where KA geometry occurs in the space of function complexity and model hyperparameters. The motivation is first to understand how neural networks organically learn to prepare input data for later downstream processing and, second, to learn enough about the emergence of KA geometry to accelerate learning through a timely intervention in network hyperparameters. This research is the "flip side" of KA-Networks (KANs). We do not engineer KA into the neural network, but rather watch KA emerge in shallow MLPs.
- Abstract（参考訳）: Kolmogorov-Arnold(KA)表現定理は、単一の(非線形)隠蔽層ニューラルネットワークにおいて、普遍的であるが、非常に非滑らかな内部関数(第一層写像)を構成する。
そのような普遍関数は固有の局所幾何学、すなわち「テクスチャー」を持ち、内部関数のヤコビアン$J({\mathbf{x}})$を特徴付けることができる。
この特異なKA幾何が従来のニューラルネットワーク最適化によって現れるのかを問うのは当然である。
実際に、KA幾何はバニラ単一隠蔽層ニューラルネットワークのトレーニング時にしばしば生成される。
KA幾何は、$J(\mathbf{x})$:$J(\mathbf{x})$の測度と軸アライメントを測る、$J(\mathbf{x})$の零行の数と様々な可観測量の統計的性質によって定量化する。
このことは、関数複雑性とモデルハイパーパラメータの空間においてKA幾何がどこで起こるのかを大まかに理解する。
その動機は、ニューラルネットワークが後続の下流処理のために入力データを作成するために有機的にどのように学習するかを理解し、次に、ネットワークハイパーパラメーターへのタイムリーな介入を通じて学習を加速するためにKA幾何学の出現について十分な学習を行うことである。
この研究はKA-Networks(KAN)の「フリップ側」である。
ニューラルネットワークにKAを組み込むのではなく、浅いMLPでKAが出現するのを見るのです。
関連論文リスト
- Interpreting learned search: finding a transition model and value function in an RNN that plays Sokoban [3.274397973865673]
我々はパズルゲーム「ソコバン」をプレイするために訓練された畳み込みリカレントニューラルネットワーク(RNN)を部分的にリバースエンジニアリングした。
以前の研究によると、このネットワークはテストタイムの計算量を増やして、より多くのレベルを解決している。
論文 参考訳（メタデータ） (2025-06-11T19:36:17Z) - Neural Metamorphosis [72.88137795439407]
本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。
NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。
75%の圧縮速度でもフルサイズの性能を維持する。
論文 参考訳（メタデータ） (2024-10-10T14:49:58Z) - Analysis of the Geometric Structure of Neural Networks and Neural ODEs via Morse Functions [0.0]
本研究では,スカラー出力を持つ有限深度ニューラルネットワークと無限深度ニューラルネットワークの入力出力ダイナミクスについて検討する。
ネットワークの特定の構造によって、入力出力マップは臨界点の存在と規則性に関して異なる特性を持つことを示す。
論文 参考訳（メタデータ） (2024-05-15T14:00:48Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。
要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文 参考訳（メタデータ） (2022-10-01T21:17:39Z) - Sheaf Neural Networks with Connection Laplacians [3.3414557160889076]
シーフニューラルネットワーク(英: Sheaf Neural Network、略称:SNN)は、グラフニューラルネットワークの一種で、グラフにノードとエッジにベクトル空間とそれらの空間の間の線形写像を割り当てるオブジェクトである。
それまでの研究では、ドメイン知識に基づいたシーフを手作業で構築することと、勾配に基づく手法によるシーフエンドツーエンドの学習という2つのダイメトリックなアプローチが提案されていた。
本研究ではリーマン幾何学から着想を得た新しい計算方法を提案する。
提案手法は,従来のSNNモデルと比較して計算オーバーヘッドが少なく,有望な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-17T11:39:52Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。