論文の概要: Lazy Estimation of Variable Importance for Large Neural Networks
- arxiv url: http://arxiv.org/abs/2207.09097v1
- Date: Tue, 19 Jul 2022 06:28:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 13:20:56.676134
- Title: Lazy Estimation of Variable Importance for Large Neural Networks
- Title（参考訳）: 大規模ニューラルネットワークにおける可変重要性の遅延推定
- Authors: Yue Gao, Abby Stevens, Rebecca Willet, Garvesh Raskutti
- Abstract要約: そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。
いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
- 参考スコア（独自算出の注目度）: 22.95405462638975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As opaque predictive models increasingly impact many areas of modern life,
interest in quantifying the importance of a given input variable for making a
specific prediction has grown. Recently, there has been a proliferation of
model-agnostic methods to measure variable importance (VI) that analyze the
difference in predictive power between a full model trained on all variables
and a reduced model that excludes the variable(s) of interest. A bottleneck
common to these methods is the estimation of the reduced model for each
variable (or subset of variables), which is an expensive process that often
does not come with theoretical guarantees. In this work, we propose a fast and
flexible method for approximating the reduced model with important inferential
guarantees. We replace the need for fully retraining a wide neural network by a
linearization initialized at the full model parameters. By adding a ridge-like
penalty to make the problem convex, we prove that when the ridge penalty
parameter is sufficiently large, our method estimates the variable importance
measure with an error rate of $O(\frac{1}{\sqrt{n}})$ where $n$ is the number
of training samples. We also show that our estimator is asymptotically normal,
enabling us to provide confidence bounds for the VI estimates. We demonstrate
through simulations that our method is fast and accurate under several
data-generating regimes, and we demonstrate its real-world applicability on a
seasonal climate forecasting example.
- Abstract（参考訳）: 不透明な予測モデルが現代生活の多くの領域に影響を及ぼすにつれて、特定の予測を行うための入力変数の重要性の定量化への関心が高まっている。
近年、すべての変数で訓練されたフルモデルと、興味のある変数(s)を除外した縮小モデルとの予測パワーの差を分析する変数重要度(VI)を測定するモデルに依存しない手法が急増している。
これらの方法に共通するボトルネックは、各変数(または変数のサブセット)に対する還元モデルの推定である。
そこで本研究では,重要な推論保証付き縮退モデルを高速かつ柔軟な近似法を提案する。
モデルパラメータ全体を初期化する線形化によって、広いニューラルネットワークを完全に再トレーニングする必要性を置き換える。
問題を凸化するためにリッジのようなペナルティを加えることで、リッジペナルティパラメータが十分に大きい場合、この方法は変数重要度測度を、トレーニングサンプルの数である$o(\frac{1}{\sqrt{n}})$で推定する。
また、我々の推定器は漸近的に正規であり、VI推定に対する信頼境界を提供することができることを示す。
いくつかのデータ生成体制下では,本手法が高速かつ正確であることをシミュレーションにより実証し,季節気候予測の例で実世界の適用性を示す。
関連論文リスト
- Learning Augmentation Policies from A Model Zoo for Time Series Forecasting [58.66211334969299]
本稿では,強化学習に基づく学習可能なデータ拡張手法であるAutoTSAugを紹介する。
限界サンプルを学習可能なポリシーで強化することにより、AutoTSAugは予測性能を大幅に改善する。
論文 参考訳（メタデータ） (2024-09-10T07:34:19Z) - Quantile Regression using Random Forest Proximities [0.9423257767158634]
量子回帰林は、対象変数の条件分布全体を単一のモデルで推定する。
本研究では,ランダムフォレスト近似を用いた量子レグレッションを用いて,QRFの原バージョンに対する条件目標分布と予測間隔の近似において,優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2024-08-05T10:02:33Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Analysis of Bootstrap and Subsampling in High-dimensional Regularized Regression [29.57766164934947]
統計モデルの不確実性を推定するための一般的な再サンプリング手法について検討する。
一般化線形モデル(英語版)の文脈において、これらの手法によって推定されるバイアスと分散の厳密な記述を提供する。
論文 参考訳（メタデータ） (2024-02-21T08:50:33Z) - Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。
我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
論文 参考訳（メタデータ） (2023-11-04T21:46:28Z) - Environment Invariant Linear Least Squares [18.387614531869826]
本稿では,複数の実験環境からのデータを収集する多環境線形回帰モデルについて考察する。
線形最小二乗回帰のマルチ環境バージョンである、新しい環境不変線形最小二乗関数(EILLS)を構築する。
論文 参考訳（メタデータ） (2023-03-06T13:10:54Z) - MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。
最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。
モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
論文 参考訳（メタデータ） (2021-10-18T17:55:11Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳（メタデータ） (2021-02-26T23:21:16Z) - Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data
to Learn Robust and Invariant Representations [76.85274970052762]
元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。
本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。
私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-25T22:40:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。