論文の概要: Adaptive deep nonparametric regression from dependent data under covariate shift
- arxiv url: http://arxiv.org/abs/2607.20309v1
- Date: Wed, 22 Jul 2026 15:55:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.139181
- Title: Adaptive deep nonparametric regression from dependent data under covariate shift
- Title（参考訳）: 共変量シフト下における従属データからの適応的深度非パラメトリック回帰
- Abstract要約: 我々は、多くの古典的モデルで満たされる一般化されたベルンシュタイン型不等式を扱う。
本研究では,データソースとターゲット分布の差を考慮したスパースペナル化深層ニューラルネットワーク(SPDNN)推定器を提案する。
量子化とフーバー回帰の両方について、提案したSPDNN推定器の非漸近誤差境界を確立する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Covariate shift often occurs because, in many real applications, the source and the target observations may be generated from different distributions. In this case, the standard metric under the source distribution is not appropriate. This paper considers deep neural network estimators for nonparametric quantile and Huber regression under covariate shift and from dependent observations. We deal with a generalized Bernstein-type inequality that is satisfied by many classical models, including i.i.d. observations, $φ$-mixing, strong mixing, and $\mathcal{C}$-mixing processes. To perform the covariate shift phenomenon, we propose a sparse-penalized deep neural network (SPDNN) estimator that takes into account the discrepancy between the source and target distributions of the data. When the density ratio (between the source and target distributions of the covariate) is unknown, a two steps pre-training procedure is carried out: the first step is devoted to the construction of a least squares SPDNN estimator of the density ratio; which is used in the second step to perform a pre-training reweighted SPDNN estimator of the regression function. For both the quantile and the Huber regression, non-asymptotic error bounds of the proposed SPDNN estimators are established in the class of Hölder smooth functions. These estimators can adaptively attain (up to a logarithmic factor) the minimax optimal convergence rate from i.i.d. data as well as from several classical time series models.
- Abstract（参考訳）: 共変量シフトは、多くの実アプリケーションにおいて、ソースとターゲットの観測が異なる分布から生成されるため、しばしば起こる。
この場合、ソース分布の下での標準計量は適切ではない。
本稿では,非パラメトリック量子化とフーバー回帰を共変量シフトおよび依存観測から推定するディープニューラルネットワーク推定器について考察する。
我々は、観測、$φ$-mixing、強混合、$\mathcal{C}$-mixing processを含む多くの古典的モデルで満たされる一般化されたバーンスタイン型不等式を扱う。
共変量シフト(covariate shift)現象を実現するために,データソースとターゲット分布の差を考慮したスパースペナル化深部ニューラルネットワーク(SPDNN)推定器を提案する。
第1のステップは、密度比の最小2乗のSPDNN推定器の構築に向けられ、第2のステップで、回帰関数の事前学習されたSPDNN推定器を実行する。
量子とフーバー回帰の両方について、提案されたSPDNN推定器の非漸近誤差境界はヘルダー滑らか関数のクラスに成立する。
これらの推定器は、いくつかの古典的時系列モデルと同様に、i.d.データから最小収束率を適応的に(対数係数まで)得ることができる。
関連論文リスト
- FlowSDR: Sufficient Dimension Reduction via Conditional Normalizing Flows [6.1441848595952]
FlowSDRは、射影と条件密度を共同で学習する可能性に基づくフレームワークである。
ニューラル・ガウス的SDR, ヘテロセダスティックな条件付きガウス的モデルを導入し, 平均と分散は共有ニューラル・ネットワーク関数によってパラメータ化される。
論文 参考訳（メタデータ） (2026-05-31T16:54:56Z) - Deep regression learning from dependent observations with minimum error entropy principle [0.0]
本研究では,非ペナル化ディープニューラルネットワーク (NPDNN) とスパースペン化ディープニューラルネットワーク (SPDNN) の2つの予測器について検討した。
論文 参考訳（メタデータ） (2026-03-11T16:28:06Z) - Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。
CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
論文 参考訳（メタデータ） (2025-09-29T19:50:19Z) - Chaos into Order: Neural Framework for Expected Value Estimation of Stochastic Partial Differential Equations [0.9944647907864256]
線形偏微分方程式(SPDE)の期待値を近似する物理インフォームドニューラルネットワークを提案する。
トレーニング中の時空座標とノイズ実現の両方のランダムサンプリングを活用することで、LECは標準フィードフォワードニューラルネットワークをトレーニングし、複数のサンプル間での残留損失を最小限に抑える。
このモデルでは, より低次元における解の期待値の正確な近似を常に学習し, 空間次元の増加に伴うロバスト性低下を予測可能であることを示す。
論文 参考訳（メタデータ） (2025-02-05T23:27:28Z) - Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression [15.975065054204753]
ニューラルネットワークが早期停止でGDによってトレーニングされている場合、トレーニングされたネットワークは、非パラメトリック回帰リスクの急激なレートを示す。
$mathcalO(epsilon_n2)$は、特定のケースに最適なminimaxであることが知られている。
論文 参考訳（メタデータ） (2024-11-05T08:43:54Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network [3.4623717820849476]
本研究では、下層の回帰関数とその勾配の非パラメトリック推定のための半教師付きディープソボレフ回帰器SDOREを提案する。
我々の研究は、SDOREの収束速度を$L2$-normで徹底的に分析し、ミニマックス最適性を達成することを含む。
論文 参考訳（メタデータ） (2024-01-09T13:10:30Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。
そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
論文 参考訳（メタデータ） (2021-06-03T09:34:17Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。