論文の概要: Optimal Algorithms in Linear Regression under Covariate Shift: On the Importance of Precondition

• arxiv url: http://arxiv.org/abs/2502.09047v1
• Date: Thu, 13 Feb 2025 08:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:18.460296
• Title: Optimal Algorithms in Linear Regression under Covariate Shift: On the Importance of Precondition
• Title（参考訳）: 共変量シフト下における線形回帰の最適アルゴリズム:前提条件の重要性について
• Authors: Yuanshi Liu, Haihan Zhang, Qian Chen, Cong Fang,
• Abstract要約: 現代の統計的学習における一般的な追求は、ソースデータ分布から満足のいく一般化を得ることである。 本稿では,基底真理変数を楕円形制約に限定した基礎的(高次元)線形回帰について検討する。
• 参考スコア（独自算出の注目度）: 7.300356389675634
• License:
• Abstract: A common pursuit in modern statistical learning is to attain satisfactory generalization out of the source data distribution (OOD). In theory, the challenge remains unsolved even under the canonical setting of covariate shift for the linear model. This paper studies the foundational (high-dimensional) linear regression where the ground truth variables are confined to an ellipse-shape constraint and addresses two fundamental questions in this regime: (i) given the target covariate matrix, what is the min-max \emph{optimal} algorithm under covariate shift? (ii) for what kinds of target classes, the commonly-used SGD-type algorithms achieve optimality? Our analysis starts with establishing a tight lower generalization bound via a Bayesian Cramer-Rao inequality. For (i), we prove that the optimal estimator can be simply a certain linear transformation of the best estimator for the source distribution. Given the source and target matrices, we show that the transformation can be efficiently computed via a convex program. The min-max optimal analysis for SGD leverages the idea that we recognize both the accumulated updates of the applied algorithms and the ideal transformation as preconditions on the learning variables. We provide sufficient conditions when SGD with its acceleration variants attain optimality.
• Abstract（参考訳）: 現代の統計的学習における一般的な追求は、ソースデータ分布(OOD)から満足のいく一般化を得ることである。 理論上、この挑戦は線形モデルに対する共変量シフトの標準設定の下でも未解決のままである。 本稿では,基底真理変数を楕円形制約に限定した基礎的(高次元)線形回帰について検討し,この状態における2つの基本的な問題に対処する。 i) 目的共変量行列が与えられた場合、共変量シフトの下での min-max \emph{optimal} アルゴリズムとは何か? (ii) どの種類の対象クラスに対して、一般的に使用されるSGD型アルゴリズムは最適か? 我々の分析は、ベイジアン・クラーマー・ラオ不等式を介して、厳密な下限の一般化を確立することから始まる。 対訳 対訳 対訳 対訳 対訳 対訳 対 i) 最適推定器は、ソース分布に対する最適推定器のある種の線形変換であることを示す。 情報源および対象行列から,コンベックスプログラムを用いて変換を効率的に計算できることを示す。 SGD の min-max 最適解析は、適用されたアルゴリズムの累積更新と理想変換の両方を学習変数の事前条件として認識するという考え方を利用する。 我々は,SGDの加速度変動が最適である場合に十分な条件を与える。

関連論文リスト

• Maximum Likelihood Estimation is All You Need for Well-Specified Covariate Shift [34.414261291690856]
  現代の機械学習システムの鍵となる課題は、アウト・オブ・ディストリビューション(OOD)の一般化を達成することである。 音源データを用いた古典的最大等化推定(MLE)が極小最適化を実現することを示す。 3つの具体例にインスタンス化することで、フレームワークの幅広い適用性を説明します。
  論文  参考訳（メタデータ） (2023-11-27T16:06:48Z)
• Generative Models for Anomaly Detection and Design-Space Dimensionality Reduction in Shape Optimization [0.0]
  本研究は,グローバルアルゴリズムの効率向上と高品質な設計の促進を目的として,新たな形状最適化手法を提案する。 これは、幾何学的分散を最大化する新しい縮小部分空間を定義する元の設計変数の数を減らすことで達成される。 計算結果から,グローバル最適化アルゴリズムの収束性を改善するとともに,高品質な幾何学的特徴を持つ設計のみを生成する。
  論文  参考訳（メタデータ） (2023-08-08T04:57:58Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints [3.179831861897336]
  低ランク最適化問題を証明可能な最適性に解決するためのフレームワークを提供する。 我々のフレームワークは、ラウンドリングや局所探索技術を通じて、ほぼ最適のソリューションを提供する。
  論文  参考訳（メタデータ） (2020-09-22T08:59:06Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。