論文の概要: Duality for Neural Networks through Reproducing Kernel Banach Spaces

• arxiv url: http://arxiv.org/abs/2211.05020v2
• Date: Thu, 10 Nov 2022 11:11:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:03:06.736718
• Title: Duality for Neural Networks through Reproducing Kernel Banach Spaces
• Title（参考訳）: カーネルバナッハ空間の再生によるニューラルネットワークの双対性
• Authors: Len Spek, Tjeerd Jan Heeringa, Christoph Brune
• Abstract要約: 再生カーネルバナッハ空間 (RKBS) は RKHS 空間の無限結合として理解可能であることを示す。 RKBS はヒルベルト空間ではないため、独自の双対空間ではない。しかし、その双対空間は再び、データとパラメータの役割が交換される RKBS であることを示す。 これにより、ニューラルネットワークのサドル点問題を構築することができ、原始双対最適化の全分野で使用できる。
• 参考スコア（独自算出の注目度）: 1.3750624267664155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducing Kernel Hilbert spaces (RKHS) have been a very successful tool in various areas of machine learning. Recently, Barron spaces have been used to prove bounds on the generalisation error for neural networks. Unfortunately, Barron spaces cannot be understood in terms of RKHS due to the strong nonlinear coupling of the weights. We show that this can be solved by using the more general Reproducing Kernel Banach spaces (RKBS). This class of integral RKBS can be understood as an infinite union of RKHS spaces. As the RKBS is not a Hilbert space, it is not its own dual space. However, we show that its dual space is again an RKBS where the roles of the data and parameters are interchanged, forming an adjoint pair of RKBSs including a reproducing property in the dual space. This allows us to construct the saddle point problem for neural networks, which can be used in the whole field of primal-dual optimisation.
• Abstract（参考訳）: Kernel Hilbert空間(RKHS)の再現は、機械学習の様々な分野で非常に成功したツールである。 近年、ニューラルネットワークの一般化誤差の限界を証明するためにバロン空間が用いられている。 残念ながら、重みの強い非線形結合のため、バロン空間はRKHSでは理解できない。 より一般的な Reproduction Kernel Banach 空間 (RKBS) を用いてこの問題を解くことができることを示す。 この積分 RKBS のクラスは RKHS 空間の無限統一として理解することができる。 RKBS はヒルベルト空間ではないので、自身の双対空間ではない。 しかし、その双対空間は、データとパラメータの役割が交換されるRKBSであり、双対空間における再生特性を含む随伴対のRKBSを形成することを示す。 これにより、プライマル・ディレクティブ最適化の分野全体で使用できるニューラルネットワークのサドルポイント問題を構築することができる。

関連論文リスト

• Mirror Descent on Reproducing Kernel Banach Spaces [12.716091600034543]
  本稿では,再生カーネルを用いたバナッハ空間の学習問題に対処する。 再生カーネルを用いてバナッハ空間の双対空間における勾配ステップを利用するアルゴリズムを提案する。 実際にこのアルゴリズムをインスタンス化するために、$p$-normのRKBSの新しいファミリーを導入する。
  論文  参考訳（メタデータ） (2024-11-18T02:18:32Z)
• Which Spaces can be Embedded in $L_p$-type Reproducing Kernel Banach Space? A Characterization via Metric Entropy [4.256898347232072]
  我々は、計量エントロピー成長と函数空間の再生核ヒルベルト/バナッハ空間への埋め込み性の間に新しい接続を確立する。 その結果、複雑な関数空間を学習するためのカーネル手法のパワーと限界に新たな光を当てた。
  論文  参考訳（メタデータ） (2024-10-14T21:53:19Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Barron Space for Graph Convolution Neural Networks [4.980329703241598]
  グラフ畳み込みニューラルネットワーク(GCNN)はグラフドメインで動作する。 本稿では,グラフ信号のコンパクト領域上に関数のバロン空間を導入する。
  論文  参考訳（メタデータ） (2023-11-06T02:58:05Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Continuous percolation in a Hilbert space for a large system of qubits [58.720142291102135]
  パーコレーション遷移は無限クラスターの出現によって定義される。 ヒルベルト空間の指数的に増加する次元性は、有限サイズの超球面による被覆を非効率にすることを示す。 コンパクトな距離空間におけるパーコレーション遷移への我々のアプローチは、他の文脈での厳密な処理に有用である。
  論文  参考訳（メタデータ） (2022-10-15T13:53:21Z)
• Non-Hermitian $C_{NH} = 2$ Chern insulator protected by generalized rotational symmetry [85.36456486475119]
  非エルミート系は、系の一般化された回転対称性$H+=UHU+$によって保護される。 我々の発見は、トポロジ的不変量の大きな値によって特徴づけられる新しい非エルミート的トポロジカルシステムへの道を開く。
  論文  参考訳（メタデータ） (2021-11-24T15:50:22Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels [8.160343645537106]
  与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。 再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
  論文  参考訳（メタデータ） (2020-05-21T17:40:38Z)
• Kernel-Based Reinforcement Learning: A Finite-Time Analysis [53.47210316424326]
  モデルに基づく楽観的アルゴリズムであるKernel-UCBVIを導入する。 スパース報酬を伴う連続MDPにおける我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2020-04-12T12:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。