論文の概要: Duality for Neural Networks through Reproducing Kernel Banach Spaces
- arxiv url: http://arxiv.org/abs/2211.05020v1
- Date: Wed, 9 Nov 2022 16:52:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 17:58:02.313715
- Title: Duality for Neural Networks through Reproducing Kernel Banach Spaces
- Title(参考訳): カーネルバナッハ空間の再生によるニューラルネットワークの双対性
- Authors: Len Spek, Tjeerd Jan Heeringa, Christoph Brune
- Abstract要約: 再生カーネルバナッハ空間 (RKBS) は RKHS 空間の無限結合として理解可能であることを示す。
RKBS はヒルベルト空間ではないため、独自の双対空間ではない。しかし、その双対空間は再び、データとパラメータの役割が交換される RKBS であることを示す。
これにより、ニューラルネットワークのサドル点問題を構築することができ、これは原始双対最適化技術の全分野で利用することができる。
- 参考スコア(独自算出の注目度): 1.3750624267664155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reproducing Kernel Hilbert spaces (RKHS) have been a very successful tool in
various areas of machine learning. Recently, Barron spaces have been used to
proof bounds on the generalisation error for neural networks. Unfortunately,
Barron spaces cannot be understood in terms of RKHS due to the strong nonlinear
coupling of the weights. We show that this can be solved by using the more
general Reproducing Kernel Banach spaces (RKBS). This class of integral RKBS
can be understood as an infinite union of RKHS spaces. As the RKBS is not a
Hilbert space, it is not its own dual space. However, we show that its dual
space is again an RKBS where the roles of the data and parameters are
interchanged, forming an adjoint pair of RKBSs including a reproducing property
in the dual space. This allows us to construct the saddle point problem for
neural networks, which can be used in whole field of primal-dual optimisation
techniques.
- Abstract(参考訳): Kernel Hilbert空間(RKHS)の再現は、機械学習の様々な分野で非常に成功したツールである。
近年、バロン空間はニューラルネットワークの一般化誤差の境界を証明するために用いられている。
残念ながら、重みの強い非線形結合のため、バロン空間はRKHSでは理解できない。
より一般的な Reproduction Kernel Banach 空間 (RKBS) を用いてこの問題を解くことができることを示す。
この積分 RKBS のクラスは RKHS 空間の無限統一として理解することができる。
RKBS はヒルベルト空間ではないので、自身の双対空間ではない。
しかし、その双対空間は、データとパラメータの役割が交換されるRKBSであり、双対空間における再生特性を含む随伴対のRKBSを形成することを示す。
これにより、プライマル・ディレクティブ最適化技術の全分野で使用できるニューラルネットワークのサドルポイント問題を構築することができる。
関連論文リスト
- Hypothesis Spaces for Deep Learning [7.695772976072261]
本稿では,ディープニューラルネットワーク(DNN)を用いた深層学習のための仮説空間を提案する。
DNNを2つの変数の関数として扱うことにより、DNNの所定の深さと幅によって決定される重み行列とバイアスのセットに位置するパラメータ変数に対するDNNの原始集合を考える。
このように構成されたバナッハ空間は、バナッハ空間(RKBS)を再現したカーネルであり、その再現されたカーネルを構築することを証明する。
論文 参考訳(メタデータ) (2024-03-05T22:42:29Z) - Barron Space for Graph Convolution Neural Networks [4.980329703241598]
グラフ畳み込みニューラルネットワーク(GCNN)はグラフドメインで動作する。
本稿では,グラフ信号のコンパクト領域上に関数のバロン空間を導入する。
論文 参考訳(メタデータ) (2023-11-06T02:58:05Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Stationary Kernels and Gaussian Processes on Lie Groups and their
Homogeneous Spaces II: non-compact symmetric spaces [63.79710443490585]
対称性は、考慮できる事前情報の最も基本的な形態の1つである。
本研究では,非ユークリッド空間の非常に大きなクラス上に定常ガウス過程を構築するための構築的および実践的手法を開発する。
論文 参考訳(メタデータ) (2023-01-30T17:27:12Z) - Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
パーコレーション遷移は無限クラスターの出現によって定義される。
ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。
コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
論文 参考訳(メタデータ) (2022-10-15T13:53:21Z) - Kullback-Leibler and Renyi divergences in reproducing kernel Hilbert
space and Gaussian process settings [0.0]
正規化Kullback-LeiblerとR'enyiの発散をAlpha Log-Det(Log-Det)発散により定式化する。
特徴的核について、最初の設定は、完全可分な距離空間上の任意のボレル確率測度の間の分岐をもたらす。
我々は、Alpha Log-Detの発散がヒルベルト-シュミットノルムにおいて連続であることを示し、ヒルベルト空間値の確率変数に対して大数の法則を適用することができる。
論文 参考訳(メタデータ) (2022-07-18T06:40:46Z) - Non-Hermitian $C_{NH} = 2$ Chern insulator protected by generalized
rotational symmetry [85.36456486475119]
非エルミート系は、系の一般化された回転対称性$H+=UHU+$によって保護される。
我々の発見は、トポロジ的不変量の大きな値によって特徴づけられる新しい非エルミート的トポロジカルシステムへの道を開く。
論文 参考訳(メタデータ) (2021-11-24T15:50:22Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Kolmogorov Width Decay and Poor Approximators in Machine Learning:
Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels [8.160343645537106]
与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。
再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
論文 参考訳(メタデータ) (2020-05-21T17:40:38Z) - Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。
スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
論文 参考訳(メタデータ) (2020-04-12T12:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。