論文の概要: The SKIM-FA Kernel: High-Dimensional Variable Selection and Nonlinear Interaction Discovery in Linear Time

• arxiv url: http://arxiv.org/abs/2106.12408v1
• Date: Wed, 23 Jun 2021 13:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:12:50.272386
• Title: The SKIM-FA Kernel: High-Dimensional Variable Selection and Nonlinear Interaction Discovery in Linear Time
• Title（参考訳）: SKIM-FAカーネル:線形時間における高次元可変選択と非線形相互作用発見
• Authors: Raj Agrawal and Tamara Broderick
• Abstract要約: 変数選択と推定の両方において、カーネルのトリックが適切なベイズモデルによる計算をO(#共変量)時間に還元する方法を示す。 提案手法は,大規模で高次元なデータセットの既存の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 26.11563787525079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many scientific problems require identifying a small set of covariates that are associated with a target response and estimating their effects. Often, these effects are nonlinear and include interactions, so linear and additive methods can lead to poor estimation and variable selection. The Bayesian framework makes it straightforward to simultaneously express sparsity, nonlinearity, and interactions in a hierarchical model. But, as for the few other methods that handle this trifecta, inference is computationally intractable - with runtime at least quadratic in the number of covariates, and often worse. In the present work, we solve this computational bottleneck. We first show that suitable Bayesian models can be represented as Gaussian processes (GPs). We then demonstrate how a kernel trick can reduce computation with these GPs to O(# covariates) time for both variable selection and estimation. Our resulting fit corresponds to a sparse orthogonal decomposition of the regression function in a Hilbert space (i.e., a functional ANOVA decomposition), where interaction effects represent all variation that cannot be explained by lower-order effects. On a variety of synthetic and real datasets, our approach outperforms existing methods used for large, high-dimensional datasets while remaining competitive (or being orders of magnitude faster) in runtime.
• Abstract（参考訳）: 多くの科学的問題は、標的反応に関連する小さな共変体を同定し、その効果を推定する必要がある。 これらの効果は、しばしば非線形であり、相互作用を含むため、線形および加法的手法は、推定と変数選択の貧弱につながる。 ベイズフレームワークは、階層的モデルにおいてスパーシリティ、非線形性、相互作用を同時に表現する。 しかし、この三量体を扱う他のいくつかの方法と同様に、推論は計算的に難解である。 本研究では,この計算ボトルネックを解消する。 まず,適切なベイズモデルがガウス過程(gps)として表現できることを示す。 次に,これらのgpsを用いた計算を,変数選択と推定の両方においてo(# covariates)時間に短縮する方法を示す。 我々の結果の適合性は、ヒルベルト空間における回帰関数のスパース直交分解(つまり、機能的ANOVA分解)に対応し、相互作用効果は低次効果によって説明できないすべての変動を表す。 様々な合成データセットと実データセットにおいて、当社のアプローチは、大規模で高次元のデータセットに使用される既存の手法よりも優れています。

関連論文リスト

• Lasso with Latents: Efficient Estimation, Covariate Rescaling, and Computational-Statistical Gaps [29.13944209460543]
  本研究では、観測されていない潜伏変数から強い相関関係が生じる自然なスパース線形回帰設定を提案する。 この設定では、強い相関関係に起因する問題を解析し、驚くほど単純な修正を設計する。 結果として生じる「再スケールされたラッソ」アルゴリズムのサンプルの複雑さは、(最悪の場合)下層の信号の間隔に二次的に依存する。
  論文  参考訳（メタデータ） (2024-02-23T16:16:38Z)
• Efficient Interpretable Nonlinear Modeling for Multiple Time Series [5.448070998907116]
  本稿では,複数時系列に対する効率的な非線形モデリング手法を提案する。 異なる時系列変数間の非線形相互作用を含む。 実験結果から,提案アルゴリズムは相似的にVAR係数の支持値の同定を改善することが示された。
  論文  参考訳（メタデータ） (2023-09-29T11:42:59Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Sparse Gaussian Processes with Spherical Harmonic Features [14.72311048788194]
  領域間変分ガウス過程(GP)の新たなクラスを導入する。 我々の推論スキームは変分フーリエの特徴に匹敵するが、次元の呪いに苦しむことはない。 実験の結果,本モデルでは,600万項目のデータセットに対して,2桁の精度で回帰モデルを適合させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-30T10:19:32Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。