論文の概要: The Proof of Kolmogorov-Arnold May Illuminate Neural Network Learning
- arxiv url: http://arxiv.org/abs/2410.08451v1
- Date: Fri, 11 Oct 2024 01:43:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 03:16:22.908813
- Title: The Proof of Kolmogorov-Arnold May Illuminate Neural Network Learning
- Title（参考訳）: Kolmogorov-Arnold によるニューラルネットワーク学習の証明
- Authors: Michael H. Freedman,
- Abstract要約: コルモゴロフとアーノルドは現代のニューラルネットワーク理論の基礎を築いた。
微量の濃度は、ヤコビアンのより高い外界の力に比例する。
本稿では,今日のディープNNにおける高次概念の出現の舞台となるような空間性について,その概念的議論を行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov and Arnold, in answering Hilbert's 13th problem (in the context of continuous functions), laid the foundations for the modern theory of Neural Networks (NNs). Their proof divides the representation of a multivariate function into two steps: The first (non-linear) inter-layer map gives a universal embedding of the data manifold into a single hidden layer whose image is patterned in such a way that a subsequent dynamic can then be defined to solve for the second inter-layer map. I interpret this pattern as "minor concentration" of the almost everywhere defined Jacobians of the interlayer map. Minor concentration amounts to sparsity for higher exterior powers of the Jacobians. We present a conceptual argument for how such sparsity may set the stage for the emergence of successively higher order concepts in today's deep NNs and suggest two classes of experiments to test this hypothesis.
- Abstract（参考訳）: コルモゴロフとアーノルドはヒルベルトの13番目の問題(連続関数の文脈で)に答え、現代のニューラルネットワーク理論の基礎を築いた。
その証明は多変量関数の表現を次の2つのステップに分割する: 最初の(非線形でない)層間写像は、データ多様体を単一の隠れ層に普遍的な埋め込みを与える。
私はこのパターンを、ほぼ至るところで定義された層間写像のヤコビアンの「小さな濃度」と解釈する。
微量の濃度は、ヤコビアンのより高い外界の力に比例する。
本稿では、今日のディープNNにおける高次概念の出現の舞台となるような空間性について概念的議論を行い、この仮説をテストするための2つの実験のクラスを提案する。
関連論文リスト
- Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。
非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。
この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
論文 参考訳（メタデータ） (2024-10-26T07:10:47Z) - Data Representations' Study of Latent Image Manifolds [5.801621787540268]
画像分類のための最先端の訓練された畳み込みニューラルネットワークは、層に沿って特徴的な曲率プロファイルを持つことがわかった。
また,最後の2層間の曲率ギャップは,ネットワークの一般化能力と強く相関していることを示す。
論文 参考訳（メタデータ） (2023-05-31T10:49:16Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - Unwrapping All ReLU Networks [1.370633147306388]
Deep ReLU Networksは線形モデルの集合に分解できる。
この分解をグラフニューラルネットワークやテンソル畳み込みネットワークに拡張する。
このモデルが、より安価で正確なSHAP値に繋がることを示す。
論文 参考訳（メタデータ） (2023-05-16T13:30:15Z) - Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。
我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。
彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文 参考訳（メタデータ） (2022-12-05T14:47:52Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - Hierarchical nucleation in deep neural networks [67.85373725288136]
我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。
初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。
その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
論文 参考訳（メタデータ） (2020-07-07T14:42:18Z) - A Note on the Global Convergence of Multilayer Neural Networks in the
Mean Field Regime [9.89901717499058]
多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。
我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
論文 参考訳（メタデータ） (2020-06-16T17:50:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。