論文の概要: Statistical Inference on Gradient Flows
- arxiv url: http://arxiv.org/abs/2606.01257v1
- Date: Sun, 31 May 2026 14:22:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:29.481581
- Title: Statistical Inference on Gradient Flows
- Title(参考訳): 勾配流れの統計的推測
- Authors: Tongyu Li, Alexander Giessing,
- Abstract要約: 経験的リスク最小化から生じる勾配流の時間一様統計的推測の理論を考案する。
本稿では,勾配流と連動して進化し,行列の逆転,再サンプリング,サンプル分割を回避するアルゴリズム対応共分散推定器を提案する。
この結果は統計的推測と最適化力学を結びつけ、勾配法における不確実性定量化のための実用的なツールを提供する。
- 参考スコア(独自算出の注目度): 46.05870703588429
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient-based algorithms are central to modern statistical estimation, yet their statistical analysis is often restricted to fixed-time behavior, such as convergence to a population target or fluctuations at a prescribed iteration. In many applications, however, uncertainty quantification is needed along the entire optimization path, especially when the stopping time is data-dependent or divergent. In this paper, we develop a theory for time-uniform statistical inference on gradient flows arising from empirical risk minimization. We prove a uniform central limit theorem that characterizes the deviation between empirical and population gradient flows as a continuous-time Gaussian process over the entire nonnegative real line. Building on this result, we introduce an algorithm-aware covariance estimator that evolves jointly with the gradient flow and avoids matrix inversion, resampling, or sample splitting. We show that the covariance estimator is uniformly consistent over time and use it to construct confidence intervals for the target parameter with asymptotically valid coverage. Our results connect optimization dynamics with statistical inference and provide practical tools for uncertainty quantification in gradient-based methods.
- Abstract(参考訳): 勾配に基づくアルゴリズムは現代の統計的推定の中心であるが、その統計解析は人口目標への収束や所定の反復での変動といった固定時間行動に制限されることが多い。
しかし、多くのアプリケーションでは、特に停止時間がデータに依存している場合、最適化パス全体に沿って不確実な定量化が必要である。
本稿では,経験的リスク最小化による勾配流の時間一様統計的推定の理論を考案する。
我々は、経験的勾配と集団勾配の偏差を非負実数直線全体の連続時間ガウス過程として特徴づける一様中心極限定理を証明した。
この結果に基づいて,勾配流とともに進化し,行列の逆転,再サンプリング,サンプル分割を回避するアルゴリズム対応共分散推定器を導入する。
共分散推定器は時間とともに一様に一定であることを示し、漸近的に有効なカバレッジを持つ対象パラメータに対する信頼区間を構築するために使用する。
この結果は統計的推測と最適化力学を結びつけ、勾配法における不確実性定量化のための実用的なツールを提供する。
関連論文リスト
- Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。
我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
論文 参考訳(メタデータ) (2026-05-25T16:18:39Z) - Generative Modeling with Continuous Flows: Sample Complexity of Flow Matching [60.37045080890305]
本稿では,フローマッチングに基づく生成モデルにおいて,サンプルの複雑さを初めて解析する。
速度場推定誤差をニューラルネットワーク近似誤差、有限標本サイズによる統計的誤差、速度場推定のための有限個の最適化ステップによる最適化誤差に分解する。
論文 参考訳(メタデータ) (2025-12-01T05:14:25Z) - Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness [10.470114319701576]
本研究では,スムーズな非パラメトリック回帰推定器のためのモデルフリーデバイアス法を提案する。
緩やかな条件下で, 点方向および均一なリスク収束と滑らかさを満足する偏バイアス推定器を得る。
論文 参考訳(メタデータ) (2024-12-28T15:01:19Z) - Statistical Inference for Temporal Difference Learning with Linear Function Approximation [55.80276145563105]
The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。
3つの理論的な貢献により、現在の最先端の成果が向上する。
論文 参考訳(メタデータ) (2024-10-21T15:34:44Z) - Statistical Inference in Tensor Completion: Optimal Uncertainty Quantification and Statistical-to-Computational Gaps [7.174572371800217]
本稿では,不完全かつノイズの多い観測を用いて,テンソル線形形式を統計的に推定する簡易かつ効率的な手法を提案する。
これは、信頼区間の構築、ヘテロスケダティックおよびサブ指数雑音下での推論、同時テストなど、様々な統計的推論タスクに適している。
論文 参考訳(メタデータ) (2024-10-15T03:09:52Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Online Statistical Inference for Stochastic Optimization via
Kiefer-Wolfowitz Methods [8.890430804063705]
The distribution for the Polyak-Ruppert-averaging type Kiefer-Wolfowitz (AKW) estimators。
分布結果は、統計効率と関数クエリの複雑さのトレードオフを反映している。
論文 参考訳(メタデータ) (2021-02-05T19:22:41Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳(メタデータ) (2020-05-22T22:30:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。