論文の概要: Hypothesis Spaces for Deep Learning

• arxiv url: http://arxiv.org/abs/2403.03353v2
• Date: Mon, 11 Mar 2024 14:37:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 13:29:59.881250
• Title: Hypothesis Spaces for Deep Learning
• Title（参考訳）: 深層学習のための仮説空間
• Authors: Rui Wang, Yuesheng Xu, Mingsong Yan
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)を用いた深層学習のための仮説空間を提案する。 DNNを2つの変数の関数として扱うことにより、DNNの所定の深さと幅によって決定される重み行列とバイアスのセットに位置するパラメータ変数に対するDNNの原始集合を考える。 このように構成されたバナッハ空間は、バナッハ空間(RKBS)を再現したカーネルであり、その再現されたカーネルを構築することを証明する。
• 参考スコア（独自算出の注目度）: 7.695772976072261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a hypothesis space for deep learning that employs deep neural networks (DNNs). By treating a DNN as a function of two variables, the physical variable and parameter variable, we consider the primitive set of the DNNs for the parameter variable located in a set of the weight matrices and biases determined by a prescribed depth and widths of the DNNs. We then complete the linear span of the primitive DNN set in a weak* topology to construct a Banach space of functions of the physical variable. We prove that the Banach space so constructed is a reproducing kernel Banach space (RKBS) and construct its reproducing kernel. We investigate two learning models, regularized learning and minimum interpolation problem in the resulting RKBS, by establishing representer theorems for solutions of the learning models. The representer theorems unfold that solutions of these learning models can be expressed as linear combination of a finite number of kernel sessions determined by given data and the reproducing kernel.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)を用いた深層学習のための仮説空間を提案する。 DNNを物理変数とパラメータ変数の2つの変数の関数として扱うことにより、DNNの所定の深さと幅によって決定される重み行列とバイアスのセットに位置するパラメータ変数に対するDNNの原始集合を考える。 次に、弱*位相における原始dnn集合の線型スパンを完備化し、物理変数の関数のバナッハ空間を構築する。 このようなバナッハ空間が再生カーネルバナッハ空間(RKBS)であることを証明し、その再生カーネルを構築する。 学習モデルの解に対する代表者定理を確立することにより,RKBSにおける正規化学習と最小補間問題という2つの学習モデルについて検討する。 これらの学習モデルの解は、与えられたデータと再生核によって決定される有限個のカーネルセッションの線形結合として表現できる。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Neural reproducing kernel Banach spaces and representer theorems for deep networks [16.279502878600184]
  ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。 応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
  論文  参考訳（メタデータ） (2024-03-13T17:51:02Z)
• Sparse Representer Theorems for Learning in Reproducing Kernel Banach Spaces [7.695772976072261]
  学習ソリューションのスパシティは、機械学習において望ましい機能である。 ある再生カーネルバナッハ空間(RKBS)はスパース学習法に適した仮説空間である。
  論文  参考訳（メタデータ） (2023-05-21T22:36:32Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis [3.5450828190071655]
  因果作用素(COs)は、現代の分析において中心的な役割を果たす。 COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。 本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-24T14:43:03Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Analysis of Regularized Learning for Linear-functional Data in Banach Spaces [3.160070867400839]
  バナッハ空間における線形汎関数データに対する正規化学習の全体理論について検討する。 バナッハ空間の弱*位相による正確な解への近似解の収束を示す。 正規化学習の定理は、機械学習の多くの問題を解決するために適用される。
  論文  参考訳（メタデータ） (2021-09-07T15:51:12Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。