論文の概要: Hypothesis Spaces for Deep Learning

• arxiv url: http://arxiv.org/abs/2403.03353v3
• Date: Thu, 14 Aug 2025 17:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:47.947134
• Title: Hypothesis Spaces for Deep Learning
• Title（参考訳）: 深層学習のための仮説空間
• Authors: Rui Wang, Yuesheng Xu, Mingsong Yan,
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)に基づく深層学習のための仮説空間を提案する。 DNNを入力変数とパラメータ変数の2つの変数の関数として扱うことにより、パラメータ変数が重み行列の空間に属するDNNと、所定の深さと層幅で決定されるバイアスの集合を考える。 得られたバナッハ空間が再生カーネルバナッハ空間(RKBS)であることを証明し、その再生カーネルを明示的に構築する。
• 参考スコア（独自算出の注目度）: 6.847383617201127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a hypothesis space for deep learning based on deep neural networks (DNNs). By treating a DNN as a function of two variables - the input variable and the parameter variable - we consider the set of DNNs where the parameter variable belongs to a space of weight matrices and biases determined by a prescribed depth and layer widths. To construct a Banach space of functions of the input variable, we take the weak* closure of the linear span of this DNN set. We prove that the resulting Banach space is a reproducing kernel Banach space (RKBS) and explicitly construct its reproducing kernel. Furthermore, we investigate two learning models - regularized learning and the minimum norm interpolation (MNI) problem - within the RKBS framework by establishing representer theorems. These theorems reveal that the solutions to these learning problems can be expressed as a finite sum of kernel expansions based on training data.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)に基づく深層学習のための仮説空間を提案する。 DNNを入力変数とパラメータ変数の2つの変数の関数として扱うことにより、パラメータ変数が重み行列の空間に属するDNNと、所定の深さと層幅で決定されるバイアスの集合を考える。 入力変数の関数のバナッハ空間を構築するために、このDNN集合の線型スパンの弱*閉包をとる。 得られたバナッハ空間が再生カーネルバナッハ空間(RKBS)であることを証明し、その再生カーネルを明示的に構築する。 さらに、RKBSフレームワーク内の正規化学習と最小ノルム補間(MNI)問題という2つの学習モデルについて、表現定理を確立することにより検討する。 これらの定理は、これらの学習問題の解を、トレーニングデータに基づくカーネル展開の有限和として表すことができることを示している。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Neural reproducing kernel Banach spaces and representer theorems for deep networks [16.279502878600184]
  ディープニューラルネットワークが適切な再生カーネルバナッハ空間を定義することを示す。 応用において一般的に用いられる有限アーキテクチャを正当化する代表者定理を導出する。
  論文  参考訳（メタデータ） (2024-03-13T17:51:02Z)
• Sparse Representer Theorems for Learning in Reproducing Kernel Banach Spaces [7.695772976072261]
  学習ソリューションのスパシティは、機械学習において望ましい機能である。 ある再生カーネルバナッハ空間(RKBS)はスパース学習法に適した仮説空間である。
  論文  参考訳（メタデータ） (2023-05-21T22:36:32Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis [3.5450828190071655]
  因果作用素(COs)は、現代の分析において中心的な役割を果たす。 COを近似できるディープラーニング(DL)モデルを設計するための標準的なフレームワークはまだ存在しない。 本稿では、DLモデル設計フレームワークを導入することにより、このオープンな問題に対する「幾何学的認識」ソリューションを提案する。
  論文  参考訳（メタデータ） (2022-10-24T14:43:03Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Analysis of Regularized Learning for Linear-functional Data in Banach Spaces [3.160070867400839]
  バナッハ空間における線形汎関数データに対する正規化学習の全体理論について検討する。 バナッハ空間の弱*位相による正確な解への近似解の収束を示す。 正規化学習の定理は、機械学習の多くの問題を解決するために適用される。
  論文  参考訳（メタデータ） (2021-09-07T15:51:12Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。