論文の概要: The Kolmogorov-Arnold representation theorem revisited

• arxiv url: http://arxiv.org/abs/2007.15884v2
• Date: Sat, 2 Jan 2021 16:42:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 05:37:43.134034
• Title: The Kolmogorov-Arnold representation theorem revisited
• Title（参考訳）: コルモゴロフ-アーノルド表現定理の再検討
• Authors: Johannes Schmidt-Hieber
• Abstract要約: コルモゴロフ・アルノルド表現定理がニューラルネットワークにおける複数の隠蔽層の使用を説明できるかどうか、長年にわたる議論がある。 我々は、表現関数の滑らか性特性を外部関数に伝達し、ReLUネットワークによりうまく近似できるコルモゴロフ・アルノルド表現の修正を導出する。 2つの隠れた層の代わりに、コルモゴロフ・アルノルド表現のより自然な解釈は、ほとんどの層が内部関数を近似するために必要となるディープニューラルネットワークのものであるようである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a longstanding debate whether the Kolmogorov-Arnold representation theorem can explain the use of more than one hidden layer in neural networks. The Kolmogorov-Arnold representation decomposes a multivariate function into an interior and an outer function and therefore has indeed a similar structure as a neural network with two hidden layers. But there are distinctive differences. One of the main obstacles is that the outer function depends on the represented function and can be wildly varying even if the represented function is smooth. We derive modifications of the Kolmogorov-Arnold representation that transfer smoothness properties of the represented function to the outer function and can be well approximated by ReLU networks. It appears that instead of two hidden layers, a more natural interpretation of the Kolmogorov-Arnold representation is that of a deep neural network where most of the layers are required to approximate the interior function.
• Abstract（参考訳）: コルモゴロフ・アルノルド表現定理がニューラルネットワークにおける複数の隠蔽層の使用を説明できるかどうか、長年にわたる議論がある。 コルモゴロフ・アルノルド表現は多変量関数を内部と外部に分解し、2つの隠れた層を持つニューラルネットワークと同様の構造を持つ。 しかし、異なる点がある。 主な障害の1つは、外函数が表される関数に依存しており、表される関数が滑らかであっても、大きく変化することである。 我々は、表現関数の滑らか性特性を外部関数に伝達し、ReLUネットワークによりうまく近似できるコルモゴロフ・アルノルド表現の修正を導出する。 2つの隠れた層の代わりに、コルモゴロフ・アルノルド表現のより自然な解釈は、ほとんどの層が内部関数を近似するために必要となるディープニューラルネットワークのものである。

関連論文リスト

• The Proof of Kolmogorov-Arnold May Illuminate Neural Network Learning [0.0]
  コルモゴロフとアーノルドは現代のニューラルネットワーク理論の基礎を築いた。 微量の濃度は、ヤコビアンのより高い外界の力に比例する。 本稿では,今日のディープNNにおける高次概念の出現の舞台となるような空間性について,その概念的議論を行う。
  論文  参考訳（メタデータ） (2024-10-11T01:43:14Z)
• Functional Diffusion [55.251174506648454]
  本稿では,関数拡散と呼ばれる新しい生成拡散モデルを提案する。 汎函数拡散は古典的拡散モデルの無限次元領域への拡張と見なすことができる。 3次元表面上で定義された複雑な符号付き距離関数と変形関数の生成結果を示す。
  論文  参考訳（メタデータ） (2023-11-26T21:35:34Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• Representation formulas and pointwise properties for Barron functions [8.160343645537106]
  ReLU活性化を伴う無限広2層ニューラルネットワークの自然関数空間(バロン空間)について検討する。 特異集合がフラクタルあるいは湾曲した関数は、有限経路ノルムを持つ無限に広い2層ネットワークでは表現できないことを示す。 この結果は、2層ニューラルネットワークが一般的に信じられているよりも多種多様な機能を近似できる可能性を示唆している。
  論文  参考訳（メタデータ） (2020-06-10T17:55:31Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)
• PDE constraints on smooth hierarchical functions computed by neural networks [0.0]
  ディープニューラルネットワーク理論における重要な問題は、表現性である。 フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。 このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
  論文  参考訳（メタデータ） (2020-05-18T16:34:11Z)
• Space of Functions Computed by Deep-Layered Machines [74.13735716675987]
  深層ニューラルネットワークやブール回路を含むランダム層マシンによって計算される関数の空間について検討する。 繰り返しおよび層依存アーキテクチャ上で計算されたブール関数の分布を調べた結果、両方のモデルで同じであることが判明した。
  論文  参考訳（メタデータ） (2020-04-19T18:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。