論文の概要: Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond

• arxiv url: http://arxiv.org/abs/2401.04535v1
• Date: Tue, 9 Jan 2024 13:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-10 15:32:39.326635
• Title: Semi-Supervised Deep Sobolev Regression: Estimation, Variable Selection and Beyond
• Title（参考訳）: 半教師付きディープソボレフ回帰:推定、変数選択、およびそれ以上
• Authors: Zhao Ding and Chenguang Duan and Yuling Jiao and Jerry Zhijian Yang
• Abstract要約: 本研究では,半教師付き深部ソボレフ回帰器であるSDOREを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。 我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。 また、重要なドメインシフトが存在する場合でも、関連するプラグイン勾配推定器の収束率を導出する。
• 参考スコア（独自算出の注目度）: 3.782392436834913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose SDORE, a semi-supervised deep Sobolev regressor, for the nonparametric estimation of the underlying regression function and its gradient. SDORE employs deep neural networks to minimize empirical risk with gradient norm regularization, allowing computation of the gradient norm on unlabeled data. We conduct a comprehensive analysis of the convergence rates of SDORE and establish a minimax optimal rate for the regression function. Crucially, we also derive a convergence rate for the associated plug-in gradient estimator, even in the presence of significant domain shift. These theoretical findings offer valuable prior guidance for selecting regularization parameters and determining the size of the neural network, while showcasing the provable advantage of leveraging unlabeled data in semi-supervised learning. To the best of our knowledge, SDORE is the first provable neural network-based approach that simultaneously estimates the regression function and its gradient, with diverse applications including nonparametric variable selection and inverse problems. The effectiveness of SDORE is validated through an extensive range of numerical simulations and real data analysis.
• Abstract（参考訳）: 本研究では,半教師付きディープソボレフレグレッセプタであるsdoreを提案し,基礎となる回帰関数とその勾配を非パラメトリックに推定する。 SDOREは、勾配ノルム正規化による経験的リスクを最小限に抑えるために、ディープニューラルネットワークを使用している。 我々は、SDOREの収束率を総合的に分析し、回帰関数の最小値の最適値を確立する。 また,重要な領域シフトが存在する場合でも,関連するプラグイン勾配推定器の収束率を導出する。 これらの理論的知見は、半教師付き学習においてラベルなしデータを活用することの証明可能な利点を示しながら、正規化パラメータの選択とニューラルネットワークのサイズを決定する上で、事前のガイダンスを提供する。 我々の知る限り、SDOREは回帰関数とその勾配を同時に推定する最初の証明可能なニューラルネットワークベースのアプローチであり、非パラメトリック変数選択や逆問題を含む様々な応用がある。 SDOREの有効性は、広範囲の数値シミュレーションと実データ解析によって検証される。

関連論文リスト

• Deep learning with missing data [3.829599191332801]
  本稿では,既存の計算手法と組み合わせて適用可能なパターン埋め込みニューラルネットワーク(PENN)を提案する。 インプットされたデータに基づいてトレーニングされたニューラルネットワークに加えて、PENNは観察指標のベクトルを第2のニューラルネットワークに渡して、コンパクトな表現を提供する。 出力は第3のニューラルネットワークに結合され、最終的な予測が生成される。
  論文  参考訳（メタデータ） (2025-04-21T18:57:36Z)
• Statistically guided deep learning [10.619901778151336]
  非パラメトリック回帰のための理論的に確立されたディープラーニングアルゴリズムを提案する。 本研究では、最適化、一般化、近似を同時に考慮したディープラーニングの理論解析により、新たなディープラーニング推定結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-04-11T12:36:06Z)
• Deep Fréchet Regression [4.915744683251151]
  パラメトリックな仮定を課さずに高次元予測器を扱えるフレキシブル回帰モデルを提案する。 提案手法は,非ユークリッド応答に対する既存手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-31T07:54:14Z)
• Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
  本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
  論文  参考訳（メタデータ） (2024-06-26T07:41:41Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Semiparametric Regression for Spatial Data via Deep Learning [17.63607438860882]
  我々は、線形整列単位(ReLU)アクティベーション関数を持つ疎結合のディープニューラルネットワークを用いて、未知の回帰関数を推定する。 本手法は勾配勾配勾配最適化アルゴリズムにより, かなり大きなデータセットを処理できる。
  論文  参考訳（メタデータ） (2023-01-10T01:55:55Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)
• Estimation of the Mean Function of Functional Data via Deep Neural Networks [6.230751621285321]
  関数データに対して非パラメトリック回帰を行うディープニューラルネットワーク手法を提案する。 本手法は,アルツハイマー病患者における陽電子放出トモグラフィ画像の解析に用いる。
  論文  参考訳（メタデータ） (2020-12-08T17:18:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)
• Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training [2.9649783577150837]
  スパイクされたフィールド依存ランダム行列理論を用いて, ニューラルネットの損失景観に及ぼすミニバッチの影響について検討した。 我々は、スムーズで非ニュートンディープニューラルネットワークのための最大降下および適応訓練規則の解析式を導出する。 VGG/ResNetおよびImageNetデータセットのクレームを検証する。
  論文  参考訳（メタデータ） (2020-06-16T11:55:45Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。