論文の概要: Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network

• arxiv url: http://arxiv.org/abs/2401.04535v2
• Date: Thu, 30 Jan 2025 00:56:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:13:07.747683
• Title: Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network
• Title（参考訳）: 半教師付き深部ソボレフ回帰:ReQUニューラルネットによる推定と可変選択
• Authors: Zhao Ding, Chenguang Duan, Yuling Jiao, Jerry Zhijian Yang,
• Abstract要約: 本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。 我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
• 参考スコア（独自算出の注目度）: 3.4623717820849476
• License:
• Abstract: We propose SDORE, a Semi-supervised Deep Sobolev Regressor, for the nonparametric estimation of the underlying regression function and its gradient. SDORE employs deep ReQU neural networks to minimize the empirical risk with gradient norm regularization, allowing the approximation of the regularization term by unlabeled data. Our study includes a thorough analysis of the convergence rates of SDORE in $L^{2}$-norm, achieving the minimax optimality. Further, we establish a convergence rate for the associated plug-in gradient estimator, even in the presence of significant domain shift. These theoretical findings offer valuable insights for selecting regularization parameters and determining the size of the neural network, while showcasing the provable advantage of leveraging unlabeled data in semi-supervised learning. To the best of our knowledge, SDORE is the first provable neural network-based approach that simultaneously estimates the regression function and its gradient, with diverse applications such as nonparametric variable selection. The effectiveness of SDORE is validated through an extensive range of numerical simulations.
• Abstract（参考訳）: 本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。 SDOREは、勾配ノルム正規化による経験的リスクを最小限に抑えるために、ディープReQUニューラルネットワークを使用し、ラベルなしデータによる正規化項の近似を可能にする。 本研究は,SDOREの収束速度を$L^{2}$-normで徹底的に解析し,ミニマックス最適性を達成することを含む。 さらに、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を確立する。 これらの理論的な発見は、正規化パラメータを選択し、ニューラルネットワークのサイズを決定する上で貴重な洞察を提供すると同時に、半教師付き学習においてラベルのないデータを活用するという証明可能な利点を示している。 我々の知る限りでは、SDOREは回帰関数とその勾配を同時に推定する最初の証明可能なニューラルネットワークベースのアプローチであり、非パラメトリック変数選択のような多様な応用がある。 SDOREの有効性は、広範囲の数値シミュレーションを通して検証される。

関連論文リスト

• Deep Fréchet Regression [4.915744683251151]
  パラメトリックな仮定を課さずに高次元予測器を扱えるフレキシブル回帰モデルを提案する。 提案手法は,非ユークリッド応答に対する既存手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-31T07:54:14Z)
• Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
  本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
  論文  参考訳（メタデータ） (2024-06-26T07:41:41Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Semiparametric Regression for Spatial Data via Deep Learning [17.63607438860882]
  我々は、線形整列単位(ReLU)アクティベーション関数を持つ疎結合のディープニューラルネットワークを用いて、未知の回帰関数を推定する。 本手法は勾配勾配勾配最適化アルゴリズムにより, かなり大きなデータセットを処理できる。
  論文  参考訳（メタデータ） (2023-01-10T01:55:55Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)
• Estimation of the Mean Function of Functional Data via Deep Neural Networks [6.230751621285321]
  関数データに対して非パラメトリック回帰を行うディープニューラルネットワーク手法を提案する。 本手法は,アルツハイマー病患者における陽電子放出トモグラフィ画像の解析に用いる。
  論文  参考訳（メタデータ） (2020-12-08T17:18:16Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。