論文の概要: Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery

• arxiv url: http://arxiv.org/abs/2301.12649v2
• Date: Wed, 26 Apr 2023 19:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 21:44:46.286277
• Title: Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
• Title（参考訳）: アンサンブルとベイズスパースモデル発見における不確実性推定の収束
• Authors: L. Mars Gao, Urban Fasel, Steven L. Brunton, J. Nathan Kutz
• Abstract要約: ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
• 参考スコア（独自算出の注目度）: 4.446017969073817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse model identification enables nonlinear dynamical system discovery from data. However, the control of false discoveries for sparse model identification is challenging, especially in the low-data and high-noise limit. In this paper, we perform a theoretical study on ensemble sparse model discovery, which shows empirical success in terms of accuracy and robustness to noise. In particular, we analyse the bootstrapping-based sequential thresholding least-squares estimator. We show that this bootstrapping-based ensembling technique can perform a provably correct variable selection procedure with an exponential convergence rate of the error rate. In addition, we show that the ensemble sparse model discovery method can perform computationally efficient uncertainty estimation, compared to expensive Bayesian uncertainty quantification methods via MCMC. We demonstrate the convergence properties and connection to uncertainty quantification in various numerical studies on synthetic sparse linear regression and sparse model discovery. The experiments on sparse linear regression support that the bootstrapping-based sequential thresholding least-squares method has better performance for sparse variable selection compared to LASSO, thresholding least-squares, and bootstrapping-based LASSO. In the sparse model discovery experiment, we show that the bootstrapping-based sequential thresholding least-squares method can provide valid uncertainty quantification, converging to a delta measure centered around the true value with increased sample sizes. Finally, we highlight the improved robustness to hyperparameter selection under shifting noise and sparsity levels of the bootstrapping-based sequential thresholding least-squares method compared to other sparse regression methods.
• Abstract（参考訳）: スパースモデル同定はデータからの非線形動的システム発見を可能にする。 しかしながら、スパースモデル同定のための偽発見の制御は、特に低データと高ノイズの限界において困難である。 本稿では,ノイズに対する正確性とロバスト性の観点から経験的成功を示す,アンサンブルスパースモデルの発見に関する理論的研究を行う。 特に,ブートストラップに基づくシーケンシャルしきい値最小二乗推定器の解析を行う。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。 さらに,アンサンブルスパースモデル探索法は,MCMCによる高価なベイズの不確実性定量化法と比較して,計算効率のよい不確実性推定を行うことができることを示した。 合成スパース線形回帰とスパースモデルの発見に関する様々な数値研究において、収束特性と不確かさの定量化との関係を実証する。 ブートストラップに基づくシーケンシャルしきい値最小二乗法は, LASSO, しきい値最小二乗法, ブートストラップ最小二乗法に比べ, スパース変数選択性能が向上することを示した。 スパースモデル発見実験において、ブートストラップに基づくシーケンシャルしきい値最小二乗法により、実値を中心とするデルタ測度とサンプルサイズの増加に収束し、妥当な不確かさの定量化が可能になることを示した。 最後に,ブートストラップ型シーケンシャルしきい値最小二乗法におけるノイズのシフトとスパーシティレベル下でのハイパーパラメータ選択に対するロバスト性の改善を,他のスパース回帰法と比較して強調する。

関連論文リスト

• Embedded Nonlocal Operator Regression (ENOR): Quantifying model error in learning nonlocal operators [8.585650361148558]
  本研究では,非局所的同化代理モデルとその構造モデル誤差を学習するための新しい枠組みを提案する。 このフレームワークは、長期シミュレーションにおける均質化材料応答予測のための離散性適応不確実性定量化を提供する。
  論文  参考訳（メタデータ） (2024-10-27T04:17:27Z)
• A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
  本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。 擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。 その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
  論文  参考訳（メタデータ） (2024-09-03T08:01:01Z)
• Fast Shapley Value Estimation: A Unified Approach [71.92014859992263]
  冗長な手法を排除し、単純で効率的なシェープリー推定器SimSHAPを提案する。 既存手法の解析において、推定器は特徴部分集合からランダムに要約された値の線形変換として統一可能であることを観察する。 実験により,SimSHAPの有効性が検証され,精度の高いShapley値の計算が大幅に高速化された。
  論文  参考訳（メタデータ） (2023-11-02T06:09:24Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
  我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。 本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
  論文  参考訳（メタデータ） (2020-05-22T22:30:52Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Bayesian System ID: Optimal management of parameter, model, and measurement uncertainty [0.0]
  システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。 従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-03-04T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。