論文の概要: Accurate Large-sample Uncertainty Quantification using Stochastic Gradient Markov Chain Monte Carlo

• arxiv url: http://arxiv.org/abs/2606.00293v1
• Date: Fri, 29 May 2026 19:24:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.259384
• Title: Accurate Large-sample Uncertainty Quantification using Stochastic Gradient Markov Chain Monte Carlo
• Title（参考訳）: 確率勾配マルコフ連鎖モンテカルロを用いた高精度大サンプル不確かさ定量
• Abstract要約: 運動量のないSG(L)Dに対する離散時間近似を提案する。 我々はこれらの推定値が実用的なチューニングと不確実性定量化に十分正確であることを示す量的非漸近誤差境界を証明した。
• 参考スコア（独自算出の注目度）: 7.029571020570523
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tuning algorithms such as stochastic gradient descent (SGD) and stochastic gradient Langevin dynamics (SGLD) for approximate sampling and uncertainty quantification remains challenging, particularly in the practically relevant settings when the batch size is large or the model is misspecified. Existing theory that provides tuning guidance relies on continuous-time limits or strong statistical assumptions, which can become quantitatively inaccurate in these regimes. We address these shortcomings by proposing new discrete-time approximations to SG(L)D with and without momentum, which enables accurate predictions of the stationary covariance, iterate average covariance, and integrated autocorrelation time. Moreover, we prove quantitative, non-asymptotic error bounds showing that these estimates are sufficiently accurate for practical tuning and uncertainty quantification. Numerical experiments demonstrate that our theory yields improved tuning guidance across a range of models and data-generating distributions where existing approaches fail, including when using the $β$-divergence rather than log-loss to obtain statistically robust inferences.
• Abstract（参考訳）: 近似サンプリングと不確実性定量化のための確率勾配降下(SGD)や確率勾配ランゲヴィンダイナミクス(SGLD)などのチューニングアルゴリズムは、特にバッチサイズが大きい場合やモデルが誤特定されている場合において、依然として困難である。 チューニングガイダンスを提供する既存の理論は、これらの状態において定量的に不正確になるような、連続時間制限や強い統計的仮定に依存している。 本研究では, 定常共分散の正確な予測, 平均共分散の反復, 統合自己相関時間を実現するため, SG(L)D に運動量を持たずに新たな離散時間近似を提案することで, これらの欠点に対処する。 さらに、これらの推定値が実用的なチューニングと不確実性定量化に十分正確であることを示す量的非漸近誤差境界を証明した。 数値実験により,我々の理論は,既存のアプローチが失敗するモデルやデータ生成分布に対して,ログロスではなく$β$-divergenceを用いて統計的にロバストな推論を行う場合を含む,改良されたチューニングガイダンスが得られた。

関連論文リスト

• Conformal risk control for model-form uncertainty in parametric non-intrusive reduced-order models [1.5749416770494706]
  非侵入還元次モデル(NIROM)は、実験のコンピュータ設計からパラメトリック偏微分方程式を近似するための標準ツールとなっている。 しかしながら、これらの予測の信頼性を評価することは、特に外挿体制や限られた訓練データの下では大きな課題である。 本稿では,削減された基底の摂動表現と分布自由な共形型法を組み合わせることで,NIROMのモデル形式不確かさを定量化するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-04T09:08:16Z)
• TRIE: An Evaluation Framework for Stochastic PDE Surrogates [5.2492759201709065]
  PDEサロゲートの評価フレームワークTRIEを紹介する。 モデルが不変測度を再現し、信頼できる予測の不確実性を提供し、効率的な生成にスケールするかを問う。 自動次元発見を伴う潜在生成モデルは,コルモゴロフ推定時間を約12倍に抑えながら,この統計的忠実度の多くを保っていることを示す。
  論文  参考訳（メタデータ） (2026-06-30T21:20:37Z)
• Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo [5.432885556835047]
  我々はSGLD-Gibbsの統計的スケーリング限界理論を開発する。 我々は,大域的パラメータが拡散型極限に収束する一方,各潜伏変数はジャンプ過程に収束し,断続的ギブス更新の使用を反映することを示す。
  論文  参考訳（メタデータ） (2026-05-29T19:34:28Z)
• Statistical Inference for Stochastic Gradient Descent Beyond Finite Variance [10.36372217426986]
  勾配降下 (SGD) は、大規模統計学習と最適化のための基礎アルゴリズムである。 我々は,SGD軌道から信頼領域を構築するための,効率的なモデルに依存しない手法を開発した。
  論文  参考訳（メタデータ） (2026-05-25T16:18:39Z)
• Why SGD is not Brownian Motion: A New Perspective on Stochastic Dynamics [92.39053980710702]
  グラディエント・Descent (SGD) は通常ランゲヴィン過程としてモデル化され、ミニバッチノイズがブラウン運動として働くと仮定される。 この近似は、連続時間制限と、離散的なSGD更新を有限学習率で一致しないsqrt(eta)ノイズスケーリングに依存している。 ミニバッチサンプリングによって誘導されるゆらぎのある損失景観における決定論的力学としてのSGDの別の定式化を提案する。
  論文  参考訳（メタデータ） (2026-05-21T15:50:40Z)
• GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
  我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
  論文  参考訳（メタデータ） (2026-02-15T09:57:47Z)
• Error-quantified Conformal Inference for Time Series [55.11926160774831]
  時系列予測の不確かさの定量化は、時系列データの時間的依存と分布シフトのために困難である。 量子化損失関数をスムースにすることで,iError-quantified Conformal Inference (ECI)を提案する。 ECIは有効な誤発見制御と、他のベースラインよりも厳密な予測セットを出力することができる。
  論文  参考訳（メタデータ） (2025-02-02T15:02:36Z)
• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々はデータ依存型アレタリック不確実性の推定と緩和を改善する。 ポリシー勾配アルゴリズムによる実験は、大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。