論文の概要: ANOVA-boosting for Random Fourier Features
- arxiv url: http://arxiv.org/abs/2404.03050v1
- Date: Wed, 3 Apr 2024 20:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 16:44:51.918538
- Title: ANOVA-boosting for Random Fourier Features
- Title（参考訳）: ランダムフーリエ機能のためのANOVAブースティング
- Authors: Daniel Potts, Laura Weidensager,
- Abstract要約: 我々のアルゴリズムは、重要な入力変数と変数の相互作用のインデックスセットを確実に見つけることができる。
我々のアルゴリズムは解釈可能性の利点があり、つまり、全ての入力変数の影響が学習モデルで知られていることを意味する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose two algorithms for boosting random Fourier feature models for approximating high-dimensional functions. These methods utilize the classical and generalized analysis of variance (ANOVA) decomposition to learn low-order functions, where there are few interactions between the variables. Our algorithms are able to find an index set of important input variables and variable interactions reliably. Furthermore, we generalize already existing random Fourier feature models to an ANOVA setting, where terms of different order can be used. Our algorithms have the advantage of interpretability, meaning that the influence of every input variable is known in the learned model, even for dependent input variables. We give theoretical as well as numerical results that our algorithms perform well for sensitivity analysis. The ANOVA-boosting step reduces the approximation error of existing methods significantly.
- Abstract（参考訳）: 本研究では,高次元関数を近似するランダムなフーリエ特徴モデルを構築するための2つのアルゴリズムを提案する。
これらの手法は、分散(ANOVA)分解の古典的および一般化された解析を利用して、変数間の相互作用がほとんどない低次関数を学習する。
我々のアルゴリズムは、重要な入力変数と変数の相互作用のインデックスセットを確実に見つけることができる。
さらに、既存のランダムなフーリエ特徴モデルをANOVA設定に一般化し、異なる順序の項を使うことができる。
我々のアルゴリズムは解釈可能性の利点があり、従属的な入力変数であっても、全ての入力変数の影響が学習モデルで知られている。
我々は,このアルゴリズムが感度解析に有効であるという理論的および数値的な結果を与える。
ANOVAブースティングステップは、既存のメソッドの近似誤差を大幅に削減する。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。
最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。
任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
論文 参考訳（メタデータ） (2024-05-29T19:21:55Z) - Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition [0.0]
サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。
三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
論文 参考訳（メタデータ） (2024-02-04T10:27:42Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳（メタデータ） (2023-06-13T01:18:16Z) - On the connections between optimization algorithms, Lyapunov functions, and differential equations: theory and insights [0.0]
Fazylabらによって導入されたフレームワークを再検討し、離散的かつ連続的な時間で最適化アルゴリズムのためのLyapunov関数を構築する。
滑らかで強凸な目的関数に対して、そのような構成に必要な要求を緩和する。
文献で利用できるものよりも良い収束率を証明します。
論文 参考訳（メタデータ） (2023-05-15T14:03:16Z) - Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation [0.456877715768796]
SHAP近似の課題は、特徴分布の選択と推定されるANOVAの2ドル$ANOVAの項数に大きく関係していることが示される。
機械学習の説明可能性と感度分析の関連性は、このケースでは明らかにされているが、実際的な結果は明らかではない。
論文 参考訳（メタデータ） (2022-08-21T21:46:15Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - Learning Set Functions that are Sparse in Non-Orthogonal Fourier Bases [73.53227696624306]
フーリエスパース集合関数を学習するための新しいアルゴリズム群を提案する。
Walsh-Hadamard変換に焦点をあてた他の研究とは対照的に、我々の新しいアルゴリズムは最近導入された非直交フーリエ変換で機能する。
いくつかの実世界のアプリケーションで有効性を示す。
論文 参考訳（メタデータ） (2020-10-01T14:31:59Z) - tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。
そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2020-06-08T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。