論文の概要: Optimal Neural Estimation for High-Dimensional Nonparametric Regression under Multisource Covariate Shift

• arxiv url: http://arxiv.org/abs/2610.40331v1
• Date: Thu, 29 Oct 2026 15:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 07:32:36.823924
• Title: Optimal Neural Estimation for High-Dimensional Nonparametric Regression under Multisource Covariate Shift
• Title（参考訳）: 多元共変量シフトによる高次元非パラメトリック回帰の最適ニューラル推定
• Abstract要約: 対数因子の最小限の最適性を確立するためのオラクル重み付き神経推定器を提案する。 適切な条件下では、この手順は、対数因子までのオラクルのミニマックスレートを達成する。
• 参考スコア（独自算出の注目度）: 12.923294711240764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study high-dimensional nonparametric regression under multisource covariate shift, where $\mathrm J$ sources of training data share a common regression function but differ in their covariate distributions, sample sizes, and noise variances. Our goal is to combine these sources to estimate the regression function accurately under a target covariate distribution. We propose an oracle weighted neural estimator and establish its minimax optimality up to logarithmic factors through matching upper and lower bounds. The resulting rate is $\mathsf n_{\rm eff}^{-2p/(2p+K)}$, where $p$ and $K$ denote the effective smoothness and dimension of the regression function, and the effective sample size is \begin{align} \mathsf n_{\rm eff} =\sum_{j=1}^{\mathrm J} \frac{n_j}{(1+σ_{ρ,j})σ_{ε,j}^{2}}. \nonumber \end{align} Here, $n_j$ is the sample size of source $j$, $σ_{ε,j}^{2}$ is its noise variance, and $σ_{ρ,j}$ controls the deviation between the covariate distribution of source $j$ and the target covariate distribution. We also develop an adaptive procedure that requires no knowledge of source noise variances or covariate-shift parameters. Under suitable conditions, this procedure attains the oracle minimax rate up to logarithmic factors.
• Abstract（参考訳）: 多元共変量シフト下での高次元非パラメトリック回帰について検討し、トレーニングデータの$\mathrm J$ソースは共通の回帰関数を共有するが、共変量分布、サンプルサイズ、ノイズ分散が異なる。 我々のゴールは、これらのソースを組み合わせて、目標共変量分布の下で正確に回帰関数を推定することである。 オラクル重み付きニューラル推定器を提案し,その最小限の最適性は,上界と下界をマッチングすることによって対数的因子まで確立する。 結果は$\mathsf n_{\rm eff}^{-2p/(2p+K)}$であり、$p$と$K$は回帰関数の有効滑らかさと次元を表し、有効サンプルサイズは \begin{align} \mathsf n_{\rm eff} =\sum_{j=1}^{\mathrm J} \frac{n_j}{(1+σ_{ρ,j})σ_{ε,j}^{2}} である。 ここで、$n_j$ はソース $j$, $σ_{ε,j}^{2}$ のサンプルサイズであり、$σ_{ρ,j}$ はソース $j$ の共変量分布とターゲット共変量分布との偏差を制御する。 また、音源ノイズのばらつきや共変量シフトパラメータの知識を必要としない適応的な手法も開発している。 適切な条件下では、この手順は、対数因子までのオラクルのミニマックスレートを達成する。

関連論文リスト

• One Good Source is All You Need: Near-Optimal Regret for Bandits under Heterogeneous Noise [49.12618706309658]
  Source-Optimistic Adaptive Regret Minimization (SOAR) は、シャープな分散集中境界を用いて高分散ソースを創出する新しいアルゴリズムである。 我々は、標準の単一ソースMABのインスタンス依存の最適後悔を、分散$*2$で達成していることを示す。 我々の理論的境界は、提案されたベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-02-16T05:25:06Z)
• Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
  我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
  論文  参考訳（メタデータ） (2025-06-30T13:27:39Z)
• Outsourced diffusion sampling: Efficient posterior inference in latent spaces of generative models [65.71506381302815]
  本稿では、$p(mathbfxmidmathbfy) propto p_theta(mathbfx)$ という形式の後続分布からサンプリングするコストを償却する。 多くのモデルや制約に対して、後部ノイズ空間はデータ空間よりも滑らかであり、償却推論により適している。
  論文  参考訳（メタデータ） (2025-02-10T19:49:54Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Minimal Random Code Learning with Mean-KL Parameterization [2.3814052021083354]
  変分ベイズニューラルネットワークの圧縮に用いる最小ランダム符号学習(MIRACLE)の2つの変種について検討した。 MIRACLEは、重量後部$Q_mathbfw$に対して強力で条件付きガウス変分近似を実装し、相対エントロピー符号化を用いて重量サンプルを後部から圧縮する。 本研究では,平均-KLパラメータ化による変分学習が2倍の速度で収束し,圧縮後の予測性能が維持されることを示す。
  論文  参考訳（メタデータ） (2023-07-15T14:46:43Z)
• Stochastic Approximation Approaches to Group Distributionally Robust Optimization and Beyond [89.72693227960274]
  本稿では,グループ分散ロバスト最適化 (GDRO) を,$m$以上の異なる分布をうまく処理するモデルを学習する目的で検討する。 各ラウンドのサンプル数を$m$から1に抑えるため、GDROを2人でプレイするゲームとして、一方のプレイヤーが実行し、他方のプレイヤーが非公開のマルチアームバンディットのオンラインアルゴリズムを実行する。 第2のシナリオでは、最大リスクではなく、平均的最上位k$リスクを最適化し、分散の影響を軽減することを提案する。
  論文  参考訳（メタデータ） (2023-02-18T09:24:15Z)
• (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
  固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。 本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
  論文  参考訳（メタデータ） (2022-07-11T08:04:46Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。