論文の概要: Universal approximation theorem for neural networks with inputs from a topological vector space
- arxiv url: http://arxiv.org/abs/2409.12913v1
- Date: Thu, 19 Sep 2024 17:10:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 12:59:09.656806
- Title: Universal approximation theorem for neural networks with inputs from a topological vector space
- Title(参考訳): 位相ベクトル空間からの入力を持つニューラルネットワークの普遍近似定理
- Authors: Vugar Ismailov,
- Abstract要約: 位相ベクトル空間(TVS-FNN)からの入力を用いたフィードフォワードニューラルネットワークの研究
従来のフィードフォワードニューラルネットワークとは異なり、TVS-FNNはシーケンス、行列、関数などを含む幅広い入力を処理することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study feedforward neural networks with inputs from a topological vector space (TVS-FNNs). Unlike traditional feedforward neural networks, TVS-FNNs can process a broader range of inputs, including sequences, matrices, functions and more. We prove a universal approximation theorem for TVS-FNNs, which demonstrates their capacity to approximate any continuous function defined on this expanded input space.
- Abstract(参考訳): トポロジカルベクトル空間(TVS-FNN)からの入力を用いたフィードフォワードニューラルネットワークについて検討した。
従来のフィードフォワードニューラルネットワークとは異なり、TVS-FNNはシーケンス、行列、関数などを含む幅広い入力を処理することができる。
この拡張された入力空間上で定義された任意の連続関数を近似する能力を示すTVS-FNNに対する普遍近似定理を証明した。
関連論文リスト
- Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
線形表現仮説(LRH)に対する反例を提示する。
入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。
これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
論文 参考訳(メタデータ) (2024-08-20T15:04:37Z) - Universal Approximation Theorem for Vector- and Hypercomplex-Valued Neural Networks [0.3686808512438362]
普遍近似定理(英: universal approximation theorem)は、1つの隠れた層を持つニューラルネットワークがコンパクト集合上の連続関数を近似できるという定理である。
これは、実数値ニューラルネットワークと超複素数値ニューラルネットワークに有効である。
論文 参考訳(メタデータ) (2024-01-04T13:56:13Z) - Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳(メタデータ) (2023-05-26T05:28:10Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Universal Approximation Property of Fully Convolutional Neural Networks
with Zero Padding [10.295288663157393]
CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。
入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。
また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
論文 参考訳(メタデータ) (2022-11-18T02:04:16Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Universal Approximation Theorem for Neural Networks [0.0]
ニューラルネットワークのUniversal Approximation Theorem for Neural Networks" では、ニューラルネットワークは適切な設定の下で特定の関数空間に密着していると述べている。
本稿では,フィードフォワードニューラルネットワークに対する普遍近似定理の包括的説明を行う。
論文 参考訳(メタデータ) (2021-02-19T08:25:24Z) - Volumetric Transformer Networks [88.85542905676712]
学習可能なモジュールである容積変換器ネットワーク(VTN)を導入する。
VTNは、中間CNNの空間的およびチャネル的特徴を再設定するために、チャネル回りの歪み場を予測する。
実験の結果,VTNは特徴量の表現力を一貫して向上し,細粒度画像認識とインスタンスレベルの画像検索におけるネットワークの精度が向上することがわかった。
論文 参考訳(メタデータ) (2020-07-18T14:00:12Z) - A function space analysis of finite neural networks with insights from
sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。
入力が帯域制限の仮定の下では、新しいエラー境界を提供する。
前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文 参考訳(メタデータ) (2020-04-15T10:25:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。