論文の概要: The Interplay of Statistics and Noisy Optimization: Learning Linear Predictors with Random Data Weights
- arxiv url: http://arxiv.org/abs/2512.10188v1
- Date: Thu, 11 Dec 2025 00:55:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.139672
- Title: The Interplay of Statistics and Noisy Optimization: Learning Linear Predictors with Random Data Weights
- Title（参考訳）: 統計学と雑音最適化の相互作用:ランダムデータ重み付き線形予測器の学習
- Authors: Gabriel Clara, Yazan Mash'al,
- Abstract要約: 線形回帰モデルにおいて、ランダムに重み付けされたデータポイントを用いて勾配降下を解析する。
ランダムな重み付けによって引き起こされる暗黙的な正則化を特徴付け、重み付き線形回帰と接続し、第1モーメントと第2モーメントにおける収束のための非漸近境界を導出する。
- 参考スコア（独自算出の注目度）: 1.2891210250935148
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We analyze gradient descent with randomly weighted data points in a linear regression model, under a generic weighting distribution. This includes various forms of stochastic gradient descent, importance sampling, but also extends to weighting distributions with arbitrary continuous values, thereby providing a unified framework to analyze the impact of various kinds of noise on the training trajectory. We characterize the implicit regularization induced through the random weighting, connect it with weighted linear regression, and derive non-asymptotic bounds for convergence in first and second moments. Leveraging geometric moment contraction, we also investigate the stationary distribution induced by the added noise. Based on these results, we discuss how specific choices of weighting distribution influence both the underlying optimization problem and statistical properties of the resulting estimator, as well as some examples for which weightings that lead to fast convergence cause bad statistical performance.
- Abstract（参考訳）: 一般重み付け分布に基づく線形回帰モデルにおいて,無作為な重み付きデータポイントを用いた勾配降下の解析を行った。
これには、確率勾配降下、重要サンプリングの様々な形態が含まれるが、任意の連続値を持つ分布の重み付けにまで拡張し、様々な種類のノイズが訓練軌道に与える影響を解析するための統一的な枠組みを提供する。
ランダムな重み付けによって引き起こされる暗黙的な正則化を特徴付け、重み付き線形回帰と接続し、第1モーメントと第2モーメントにおける収束のための非漸近境界を導出する。
幾何学的モーメント収縮を利用して、付加雑音による定常分布も調べる。
これらの結果に基づいて、重み付け分布の特定の選択が、基礎となる最適化問題と結果推定器の統計的特性の両方にどのように影響するか、また、高速収束をもたらす重み付けが悪い統計性能を引き起こすいくつかの例について論じる。
関連論文リスト
- Asymptotics of Linear Regression with Linearly Dependent Data [28.005935031887038]
非ガウス共変量の設定における線形回帰の計算について検討する。
本稿では,依存性が推定誤差と正規化パラメータの選択にどのように影響するかを示す。
論文 参考訳（メタデータ） (2024-12-04T20:31:47Z) - Progression: an extrapolation principle for regression [0.0]
本稿では,新しい統計外挿原理を提案する。
これは、予測器とトレーニング予測器のサンプルの境界における応答との単純な関係を仮定する。
我々の半パラメトリック法である進行法は、この外挿原理を活用し、トレーニングデータ範囲を超えた近似誤差の保証を提供する。
論文 参考訳（メタデータ） (2024-10-30T17:29:51Z) - Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent [6.3151583550712065]
グラディエントDescent(SGD)の連続時間モデルのダイナミクスについて検討する。
我々は,SGDをモデル化する退化微分方程式(squareSDEs)を,トレーニング損失(有限サンプル)と集団1(オンライン設定)のいずれにおいても解析する。
論文 参考訳（メタデータ） (2024-07-02T14:52:21Z) - Aggregation Weighting of Federated Learning via Generalization Bound
Estimation [65.8630966842025]
フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。
上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
論文 参考訳（メタデータ） (2023-11-10T08:50:28Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳（メタデータ） (2022-10-03T06:09:01Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。