論文の概要: Scale-Agnostic Kolmogorov-Arnold Geometry in Neural Networks
- arxiv url: http://arxiv.org/abs/2511.21626v1
- Date: Wed, 26 Nov 2025 17:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-27 18:37:59.231154
- Title: Scale-Agnostic Kolmogorov-Arnold Geometry in Neural Networks
- Title(参考訳): ニューラルネットワークにおけるスケール非依存Kolmogorov-Arnold幾何学
- Authors: Mathew Vanherreweghe, Michael H. Freedman, Keith M. Adams,
- Abstract要約: 人工三次元タスクのトレーニング中に多層パーセプトロンが自然発生的にコルモゴロフ・アルノルド幾何学構造(KAG)を発達させることを示す。
KAGは、局所的な7ピクセルの近傍から28×28のフル画像まで、空間スケールにわたって一貫して出現する。
これらの結果から,ニューラルネットワークは現実的な高次元データの学習中に,組織的,スケール不変な幾何学的構造を自然に発達させることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work by Freedman and Mulligan demonstrated that shallow multilayer perceptrons spontaneously develop Kolmogorov-Arnold geometric (KAG) structure during training on synthetic three-dimensional tasks. However, it remained unclear whether this phenomenon persists in realistic high-dimensional settings and what spatial properties this geometry exhibits. We extend KAG analysis to MNIST digit classification (784 dimensions) using 2-layer MLPs with systematic spatial analysis at multiple scales. We find that KAG emerges during training and appears consistently across spatial scales, from local 7-pixel neighborhoods to the full 28x28 image. This scale-agnostic property holds across different training procedures: both standard training and training with spatial augmentation produce the same qualitative pattern. These findings reveal that neural networks spontaneously develop organized, scale-invariant geometric structure during learning on realistic high-dimensional data.
- Abstract(参考訳): フリードマンとマリガンによる最近の研究は、浅い多層パーセプトロンが合成三次元タスクのトレーニング中に自然にコルモゴロフ・アルノルド幾何学構造(KAG)を発達させることを示した。
しかし、この現象が現実的な高次元の設定で持続するかどうか、またこの幾何学がどのような空間特性を示すのかは不明のままである。
KAG解析をMNIST桁分類(784次元)に拡張する。
トレーニング中にKAGが出現し,局所的な7ピクセルの近傍から28×28のフル画像まで,空間スケールで一貫して現れることがわかった。
標準的なトレーニングと空間拡張によるトレーニングの両方が、同じ定性的パターンを生成する。
これらの結果から,ニューラルネットワークは現実的な高次元データの学習中に,組織的,スケール不変な幾何学的構造を自然に発達させることが明らかとなった。
関連論文リスト
- Geometry-Aware Spiking Graph Neural Network [24.920334588995072]
本稿では,スパイクに基づくニューラルダイナミクスを適応表現学習と統合するGeometry-Aware Spiking Graph Neural Networkを提案する。
複数のベンチマーク実験により、GSGはユークリッドSNNと多様体ベースGNNと比較して精度、堅牢性、エネルギー効率が優れていることが示された。
論文 参考訳(メタデータ) (2025-08-09T02:52:38Z) - Geometry-aware Active Learning of Spatiotemporal Dynamic Systems [4.251030047034566]
本稿では,動的システムのモデリングのための幾何対応能動学習フレームワークを提案する。
データ収集のための空間的位置を戦略的に識別し、予測精度をさらに最大化する適応型能動学習戦略を開発した。
論文 参考訳(メタデータ) (2025-04-26T19:56:38Z) - Self Supervised Networks for Learning Latent Space Representations of Human Body Scans and Motions [6.503530215941272]
本稿では,3次元人体解析・処理の分野におけるいくつかの基本的な問題に対処するために,自己教師型ニューラルネットワークモデルを提案する。
身体形状とポーズの潜在空間表現を検索するための新しいアーキテクチャであるVariShaPEを提案する。
第二に、潜時空間の幾何学を学習するフレームワークであるMoGeNで潜時符号の推定を補完する。
論文 参考訳(メタデータ) (2024-11-05T19:59:40Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文 参考訳(メタデータ) (2024-04-09T08:11:46Z) - A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。
Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。
本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
論文 参考訳(メタデータ) (2023-12-12T18:44:19Z) - GraphCSPN: Geometry-Aware Depth Completion via Dynamic GCNs [49.55919802779889]
本稿では,グラフ畳み込みに基づく空間伝搬ネットワーク(GraphCSPN)を提案する。
本研究では、幾何学的表現学習において、畳み込みニューラルネットワークとグラフニューラルネットワークを相補的に活用する。
提案手法は,数段の伝搬ステップのみを使用する場合と比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-10-19T17:56:03Z) - GNPM: Geometric-Aware Neural Parametric Models [6.620111952225635]
本研究では,データの局所的構造を考慮し,ゆがんだ形状を学習し,4次元力学の潜在空間を呈する学習パラメトリックモデルを提案する。
我々は、人間の様々なデータセット上でGNPMを評価し、訓練中に高密度の通信を必要とする最先端の手法に匹敵する性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-09-21T19:23:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。