論文の概要: Towards a Unified Framework for Uncertainty-aware Nonlinear Variable Selection with Theoretical Guarantees

• arxiv url: http://arxiv.org/abs/2204.07293v1
• Date: Fri, 15 Apr 2022 02:12:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 22:57:14.941244
• Title: Towards a Unified Framework for Uncertainty-aware Nonlinear Variable Selection with Theoretical Guarantees
• Title（参考訳）: 理論的保証を伴う不確実性を考慮した非線形変数選択の統一的枠組みに向けて
• Authors: Wenying Deng, Beau Coker, Jeremiah Zhe Liu, Brent A. Coull
• Abstract要約: モデル不確実性を含む非線形変数選択のためのシンプルで統一的なフレームワークを開発する。 この手法は木アンサンブルのような微分不可能なモデルに対しても一般化可能であることを示す。
• 参考スコア（独自算出の注目度）: 2.1506382989223782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a simple and unified framework for nonlinear variable selection that incorporates model uncertainty and is compatible with a wide range of machine learning models (e.g., tree ensembles, kernel methods and neural network). In particular, for a learned nonlinear model $f(\mathbf{x})$, we consider quantifying the importance of an input variable $\mathbf{x}^j$ using the integrated gradient measure $\psi_j = \Vert \frac{\partial}{\partial \mathbf{x}^j} f(\mathbf{x})\Vert^2_2$. We then (1) provide a principled approach for quantifying variable selection uncertainty by deriving its posterior distribution, and (2) show that the approach is generalizable even to non-differentiable models such as tree ensembles. Rigorous Bayesian nonparametric theorems are derived to guarantee the posterior consistency and asymptotic uncertainty of the proposed approach. Extensive simulation confirms that the proposed algorithm outperforms existing classic and recent variable selection methods.
• Abstract（参考訳）: モデルの不確かさを取り入れ、幅広い機械学習モデル(例えば、ツリーアンサンブル、カーネルメソッド、ニューラルネットワーク)と互換性のある、非線形変数選択のための単純で統一されたフレームワークを開発した。 特に、学習非線形モデル $f(\mathbf{x})$ に対して、積分勾配測度 $\psi_j = \vert \frac{\partial}{\partial \mathbf{x}^j} f(\mathbf{x})\vert^2_2$ を用いて入力変数 $\mathbf{x}^j$ の重要性を定量化することを考える。 次に,(1)後方分布を導出して変数選択の不確かさを定量化するための原理的アプローチを提案し,(2)樹木のアンサンブルのような非微分モデルに対しても一般化可能であることを示す。 厳密なベイズ非パラメトリック定理は、提案手法の後方整合性と漸近的不確実性を保証するために導かれる。 拡張シミュレーションにより,提案アルゴリズムが従来の変数選択法と最近の変数選択法より優れていることを確認した。

関連論文リスト

• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Nonlinear Distributionally Robust Optimization [5.0490573482829335]
  本稿では、分布において目的関数が潜在的に非線形であるような分布ロバスト最適化(DRO)のクラスに焦点を当てる。 本稿では,ジェネリックリスク尺度に対するGateaux(G)誘導体に基づく微分とそれに対応する滑らかさの代替概念を提案する。 我々はFWアルゴリズムのセットアップを用いて非線形DRO問題のサドル点を計算する手法を考案する。
  論文  参考訳（メタデータ） (2023-06-05T19:22:02Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Universal and data-adaptive algorithms for model selection in linear contextual bandits [52.47796554359261]
  モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。 データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。 我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
  論文  参考訳（メタデータ） (2021-11-08T18:05:35Z)
• Combining Gaussian processes and polynomial chaos expansions for stochastic nonlinear model predictive control [0.0]
  最適制御問題の時間不変不確かさを明示的に考慮する新しいアルゴリズムを提案する。 本稿では, 非線形変換の平均および分散推定値を得るために, この組み合わせを効率的に利用することを提案する。 最適制御問題に対する確率的目標と確率的制約の両方を定式化する方法を示す。
  論文  参考訳（メタデータ） (2021-03-09T14:25:08Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。