論文の概要: Weighted Empirical Risk Minimization for Machine Learning under Long-Range Dependence: Exact Pathwise Rates and Learning-Error Geometry
- arxiv url: http://arxiv.org/abs/2609.10767v1
- Date: Wed, 09 Sep 2026 19:16:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.117946
- Title: Weighted Empirical Risk Minimization for Machine Learning under Long-Range Dependence: Exact Pathwise Rates and Learning-Error Geometry
- Title（参考訳）: 長距離依存型機械学習における重み付き経験的リスク最小化 -パスワイズ率と学習誤差幾何について-
- Abstract要約: 我々は、長距離依存データに対して、定期的に重み付けされた経験的リスクによって訓練された滑らかなパラメトリックモデルに対して、正確な概日理論を開発する。
トレーニング観測は、定常ガウス列の固定有限ウィンドウから生成される。
許容電力指数に対する大域的最適化は、全ての指数が正であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop an exact almost-sure learning theory for smooth parametric models trained by regularly weighted empirical risk minimization on long-range dependent data. The training observations are generated from a fixed finite window of a stationary Gaussian sequence, and the sample weights are regularly varying. If the loss gradient at the population minimizer has Wiener-chaos rank $m$ and a nonzero low-frequency coefficient, then, in the long-memory interior regime, the finite-lag score reduces on the iterated-logarithm scale to a single weighted Hermite chaos. This yields an almost-sure Bahadur representation, an exact limsup law for the learned parameter, and, for $m\ge2$, the functional cluster set of the complete learning trajectory. The polynomial learning exponent is determined by the memory parameter and the chaos rank and is invariant under the admissible power weighting, whereas the sharp pathwise constant and cluster geometry depend on the weights. In the rank-one case, global optimization over the admissible power exponents shows that every optimizer is positive. Time-series prediction and classification examples illustrate the results.
- Abstract（参考訳）: 我々は,長期依存データに基づく実験的リスク最小化を定期的に重み付けした滑らかなパラメトリックモデルに対する,正確なほぼ確実な学習理論を構築した。
トレーニング観測は静止ガウス列の固定有限ウィンドウから生成され、サンプル重量は定期的に変化する。
人口最小化器における損失勾配が、Wiener-chaosランク$m$と非ゼロの低周波係数を持つ場合、長メモリ内部状態においては、有限ラグスコアは反復対数スケールで1つの重み付きエルミートカオスに減少する。
これにより、ほぼ完全なバハドゥール表現、学習パラメータの正確な極限法則、そして$m\ge2$の場合、完全な学習軌跡の関数的クラスタ集合が得られる。
多項式学習指数は、メモリパラメータとカオスランクによって決定され、許容パワー重み付けの下で不変であるが、鋭い経路定数とクラスター幾何学は重みに依存する。
ランク1の場合、許容電力指数に対する大域的最適化は、全ての最適化器が正であることを示す。
時系列予測と分類例が結果を示している。
関連論文リスト
- On the Learning Curves of Revenue Maximization [62.087200798198786]
学習曲線は、トレーニングサンプル数の関数として、固定された基礎分布に対するアルゴリズムの誤差の減衰をプロットする。
収益を最大化する学習アルゴリズムに関する先行研究は、学習理論におけるPAC学習フレームワークと並行して、分散のない視点を採用する。
ベイズ一貫性アルゴリズムが存在し、任意の評価分布に対して学習曲線が0に収束することを示す。
論文 参考訳（メタデータ） (2026-04-29T17:38:25Z) - Analysis of Hessian Scaling for Local and Global Costs in Variational Quantum Algorithm [0.42970700836450487]
変分量子アルゴリズムにおけるヘッセンのエントリーワイズ解の定量化を行う。
ショットノイズに対してヘッセン成分を解くのに必要なサンプルの複雑さを規定する2つの異なるスケーリング機構を示す。
論文 参考訳（メタデータ） (2026-01-31T15:49:23Z) - Nearly Instance-Optimal Parameter Recovery from Many Trajectories via Hellinger Localization [19.74516565968901]
我々は,Hellingerのローカライゼーションフレームワークを通じて,多軌道設定におけるインスタンス最適率の範囲を拡張した。
4つのケーススタディでフレームワークをインスタンス化します。
我々の限界は、標準値よりも大幅に改善され、通常値からインスタンス最適値にほぼ一致する。
論文 参考訳（メタデータ） (2025-10-07T20:12:04Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。
私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
論文 参考訳（メタデータ） (2024-02-06T01:29:35Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Learning Globally Smooth Functions on Manifolds [94.22412028413102]
スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。
本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。
軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
論文 参考訳（メタデータ） (2022-10-01T15:45:35Z) - Precise Learning Curves and Higher-Order Scaling Limits for Dot Product
Kernel Regression [41.48538038768993]
本稿では,ドット積カーネルのカーネルリッジ回帰問題に焦点をあてる。
我々は、任意の整数$r$に対して$m approx dr/r!$が常に学習曲線のピークを観測し、複数のサンプルワイズと非自明な振る舞いを複数のスケールで達成する。
論文 参考訳（メタデータ） (2022-05-30T04:21:31Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Comparing Classes of Estimators: When does Gradient Descent Beat Ridge
Regression in Linear Models? [46.01087792062936]
クラス内のEmphbestメソッドの相対的性能による推定器のクラスの比較を行う。
これにより、学習アルゴリズムのチューニング感度を厳格に定量化できます。
論文 参考訳（メタデータ） (2021-08-26T16:01:37Z) - Combining resampling and reweighting for faithful stochastic
optimization [1.52292571922932]
損失関数が複数の項の和であるとき、一般的な方法は勾配降下である。
損失関数における複数の項のリプシッツ定数の差は、異なる最小値における異なる分散への勾配降下を引き起こすことを示す。
論文 参考訳（メタデータ） (2021-05-31T04:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。