論文の概要: Efficient and Provable Algorithms for Covariate Shift

• arxiv url: http://arxiv.org/abs/2502.15372v1
• Date: Fri, 21 Feb 2025 10:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:09:30.036413
• Title: Efficient and Provable Algorithms for Covariate Shift
• Title（参考訳）: 共変量シフトのための効率的かつ予測可能なアルゴリズム
• Authors: Deeksha Adil, Jarosław Błasiok,
• Abstract要約: 我々は、未知かつ有界な関数に対して平均$mathbbE_tildemathbfxsim p_mathrmtestmathbff(tildemathbfx)$を推定することに集中する。 証明可能なサンプル複雑性と計算保証を備えた,いくつかの効率的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.0257616108612373
• License:
• Abstract: Covariate shift, a widely used assumption in tackling {\it distributional shift} (when training and test distributions differ), focuses on scenarios where the distribution of the labels conditioned on the feature vector is the same, but the distribution of features in the training and test data are different. Despite the significance and extensive work on covariate shift, theoretical guarantees for algorithms in this domain remain sparse. In this paper, we distill the essence of the covariate shift problem and focus on estimating the average $\mathbb{E}_{\tilde{\mathbf{x}}\sim p_{\mathrm{test}}}\mathbf{f}(\tilde{\mathbf{x}})$, of any unknown and bounded function $\mathbf{f}$, given labeled training samples $(\mathbf{x}_i, \mathbf{f}(\mathbf{x}_i))$, and unlabeled test samples $\tilde{\mathbf{x}}_i$; this is a core subroutine for several widely studied learning problems. We give several efficient algorithms, with provable sample complexity and computational guarantees. Moreover, we provide the first rigorous analysis of algorithms in this space when $\mathbf{f}$ is unrestricted, laying the groundwork for developing a solid theoretical foundation for covariate shift problems.
• Abstract（参考訳）: Covariate shift, a widely use in tackling {\it distributional shift} (トレーニングとテストの分布が異なる場合)は、特徴ベクトル上で条件付けられたラベルの分布が同じであるが、トレーニングとテストデータの特徴の分布が異なるシナリオに焦点を当てる。 共変量シフトの意義と広範な研究にもかかわらず、この領域におけるアルゴリズムの理論的保証は依然として不十分である。 本稿では、共変量シフト問題の本質を蒸留し、平均$\mathbb{E}_{\tilde{\mathbf{x}}\sim p_{\mathrm{test}}}\mathbf{f}(\tilde{\mathbf{x}})$、ラベル付きトレーニングサンプル$(\mathbf{x}_i, \mathbf{f}(\mathbf{x}_i)$、ラベル付きテストサンプル$\tilde{\mathbf{x}}_i$を推定する。 証明可能なサンプル複雑性と計算保証を備えた,いくつかの効率的なアルゴリズムを提案する。 さらに、$\mathbf{f}$が無制限であるとき、この空間におけるアルゴリズムの最初の厳密な解析を提供し、共変量シフト問題のためのしっかりとした理論基盤を構築するための基礎となる。

関連論文リスト

• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Agnostically Learning Multi-index Models with Queries [54.290489524576756]
  本稿では,ガウス分布下での非依存学習の課題に対するクエリアクセスのパワーについて検討する。 クエリアクセスは、MIMを不可知的に学習するためのランダムな例よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-12-27T15:50:47Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Testing distributional assumptions of learning algorithms [5.204779946147061]
  テストレーナー対 $(mathcalA,mathcalT)$ の設計について検討する。 データ中の例の分布がテスタを$mathcalT$に渡せば、データ上の非依存な$mathcalA$の出力を安全に信頼できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T19:10:53Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• Efficient inference of interventional distributions [13.31079561447385]
  有限個の観測値から因果ベイズネットワーク内の干渉分布を効率的に推定する問題を考察する。 我々は、$mathbfY$ が任意の集合であるとき、グラフ同型問題を含む統計的ゼロ知識を持つ全ての問題が効率的なランダム化アルゴリズムを持っていなければ、$varepsilon$-close である分布の評価器を$P_bf x(mathbfY)$ に出力する効率的なアルゴリズムは存在しないことを示した。
  論文  参考訳（メタデータ） (2021-07-25T02:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。