論文の概要: Training Neural Networks Using Reproducing Kernel Space Interpolation
and Model Reduction
- arxiv url: http://arxiv.org/abs/2308.16754v1
- Date: Thu, 31 Aug 2023 14:21:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:15:21.538468
- Title: Training Neural Networks Using Reproducing Kernel Space Interpolation
and Model Reduction
- Title（参考訳）: カーネル空間補間とモデル縮小を用いたニューラルネットワークの訓練
- Authors: Eric Arthur Werneburg
- Abstract要約: 広く利用されているニューラルネットワークアーキテクチャは、再生カーネルKrein空間(RKKS)のサブセットであることを示す。
次に、いくつかの複素変数の函数の理論の概念を用いて、有名なアダムジャン・アロフ・クライン(Adamjan-Arov-Krein,AAK)の定理の多次元一般化を証明した。
この定理は、PNN(Prolongation Neural Networks)と呼ばれる新しいニューラルネットワークのクラスを導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce and study the theory of training neural networks using
interpolation techniques from reproducing kernel Hilbert space theory. We
generalize the method to Krein spaces, and show that widely-used neural network
architectures are subsets of reproducing kernel Krein spaces (RKKS). We study
the concept of "associated Hilbert spaces" of RKKS and develop techniques to
improve upon the expressivity of various activation functions. Next, using
concepts from the theory of functions of several complex variables, we prove a
computationally applicable, multidimensional generalization of the celebrated
Adamjan- Arov-Krein (AAK) theorem. The theorem yields a novel class of neural
networks, called Prolongation Neural Networks (PNN). We demonstrate that, by
applying the multidimensional AAK theorem to gain a PNN, one can gain
performance superior to both our interpolatory methods and current
state-of-the-art methods in noisy environments. We provide useful illustrations
of our methods in practice.
- Abstract（参考訳）: 本稿では,カーネルヒルベルト空間理論の補間手法を用いてニューラルネットワークを訓練する理論を紹介し,研究する。
本手法をクレイン空間に一般化し,広く使用されているニューラルネットワークアーキテクチャがカーネルクレイン空間(rkk)を再現する部分集合であることを示す。
我々は、RKKSの「関連ヒルベルト空間」の概念を研究し、様々な活性化関数の表現性を改善する技術を開発した。
次に、いくつかの複素変数の関数の理論の概念を用いて、有名なadamjan-arov-krein(aak)定理の計算学的に適用可能な多次元一般化を証明する。
この定理は、Prolongation Neural Networks (PNN)と呼ばれる新しいニューラルネットワークのクラスを生成する。
我々は,多次元 aak 定理を pnn に応用することにより,ノイズの多い環境では補間法と現状法の両方よりも優れた性能が得られることを示す。
私たちは実際、この方法の有用なイラストを提供している。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Neural reproducing kernel Banach spaces and representer theorems for
deep networks [16.279502878600184]
ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。
応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
論文 参考訳（メタデータ） (2024-03-13T17:51:02Z) - A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。
CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。
パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
論文 参考訳（メタデータ） (2024-02-01T09:01:58Z) - Embedding Capabilities of Neural ODEs [0.0]
動的システム理論を用いたニューラルODEの入出力関係について検討する。
我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
論文 参考訳（メタデータ） (2023-08-02T15:16:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。
数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文 参考訳（メタデータ） (2022-07-26T09:42:45Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。
CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。
我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
論文 参考訳（メタデータ） (2020-06-30T14:46:08Z) - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。
提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文 参考訳（メタデータ） (2020-06-24T14:54:59Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳（メタデータ） (2020-06-10T02:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。