論文の概要: Universal Approximation and the Topological Neural Network

• arxiv url: http://arxiv.org/abs/2305.16639v1
• Date: Fri, 26 May 2023 05:28:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 17:00:34.016106
• Title: Universal Approximation and the Topological Neural Network
• Title（参考訳）: 普遍近似とトポロジカルニューラルネットワーク
• Authors: Michael A. Kouritzin and Daniel Richard
• Abstract要約: トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。 また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A topological neural network (TNN), which takes data from a Tychonoff topological space instead of the usual finite dimensional space, is introduced. As a consequence, a distributional neural network (DNN) that takes Borel measures as data is also introduced. Combined these new neural networks facilitate things like recognizing long range dependence, heavy tails and other properties in stochastic process paths or like acting on belief states produced by particle filtering or hidden Markov model algorithms. The veracity of the TNN and DNN are then established herein by a strong universal approximation theorem for Tychonoff spaces and its corollary for spaces of measures. These theorems show that neural networks can arbitrarily approximate uniformly continuous functions (with respect to the sup metric) associated with a unique uniformity. We also provide some discussion showing that neural networks on positive-finite measures are a generalization of the recent deep learning notion of deep sets.
• Abstract（参考訳）: 通常の有限次元空間の代わりにTychonoff位相空間からデータを取得するトポロジカルニューラルネットワーク(TNN)を導入する。 結果として、データとしてボレル測度を取る分布ニューラルネットワーク(dnn)も導入された。 これらの新しいニューラルネットワークを組み合わせることで、確率的プロセスパスにおける長距離依存、重い尾、その他の特性の認識や、粒子フィルタリングや隠れマルコフモデルアルゴリズムによって生成された信念状態に作用するなどが容易になる。 このとき、TNN と DNN の妥当性は、タイコノフ空間に対する強い普遍近似定理と測度空間の系によって確立される。 これらの定理は、ニューラルネットワークが一様一様性に関連する一様連続函数(sup計量に関して)を任意に近似できることを示している。 また、正定測度のニューラルネットワークが近年の深層集合のディープラーニング概念の一般化であることを示す議論を行っている。

関連論文リスト

• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Universal Approximation Property of Fully Convolutional Neural Networks with Zero Padding [10.295288663157393]
  CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。 入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。 また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
  論文  参考訳（メタデータ） (2022-11-18T02:04:16Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates [7.094295642076582]
  平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。 平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
  論文  参考訳（メタデータ） (2022-05-19T21:05:40Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。