論文の概要: HARFE: Hard-Ridge Random Feature Expansion
- arxiv url: http://arxiv.org/abs/2202.02877v1
- Date: Sun, 6 Feb 2022 22:23:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 15:38:39.625203
- Title: HARFE: Hard-Ridge Random Feature Expansion
- Title(参考訳): HARFE:Hard-Ridgeのランダムな機能拡張
- Authors: Esha Saha, Hayden Schaeffer, Giang Tran
- Abstract要約: ハードリッジランダム特徴展開法(HARFE)と呼ばれる高次元スパース付加関数を近似するランダム特徴モデルを提案する。
合成データと実際のデータセットの数値結果に基づいて、HARFEアプローチは、他の最先端アルゴリズムよりも低い(または同等の)エラーを得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a random feature model for approximating high-dimensional sparse
additive functions called the hard-ridge random feature expansion method
(HARFE). This method utilizes a hard-thresholding pursuit-based algorithm
applied to the sparse ridge regression (SRR) problem to approximate the
coefficients with respect to the random feature matrix. The SRR formulation
balances between obtaining sparse models that use fewer terms in their
representation and ridge-based smoothing that tend to be robust to noise and
outliers. In addition, we use a random sparse connectivity pattern in the
random feature matrix to match the additive function assumption. We prove that
the HARFE method is guaranteed to converge with a given error bound depending
on the noise and the parameters of the sparse ridge regression model. Based on
numerical results on synthetic data as well as on real datasets, the HARFE
approach obtains lower (or comparable) error than other state-of-the-art
algorithms.
- Abstract(参考訳): 本稿では,HARFE (Hard-ridge random feature expansion method) と呼ばれる高次元スパース付加関数を近似するランダム特徴モデルを提案する。
本手法は,スパースリッジ回帰(srr)問題に適用し,ランダム特徴行列に対する係数を近似するハードスレッディング追従に基づくアルゴリズムを用いる。
SRRの定式化は、表現においてより少ない項を使用するスパースモデルと、ノイズや外れ値に対して頑丈なリッジベースの滑らか化の間のバランスをとる。
さらに,無作為な特徴行列におけるランダムなスパース接続パターンを用いて,加算関数の仮定を一致させる。
我々は,HARFE法が,スパースリッジ回帰モデルのノイズやパラメータに依存する誤差に収束することが保証されていることを証明した。
合成データと実際のデータセットの数値結果に基づいて、HARFEアプローチは、他の最先端アルゴリズムよりも低い(または同等)エラーを得る。
関連論文リスト
- Weak Collocation Regression for Inferring Stochastic Dynamics with
L\'{e}vy Noise [8.15076267771005]
本稿では,L'evyノイズを伴う力学を抽出するためのFokker-Planck(FP)方程式の弱い形式を提案する。
本手法は,多次元問題においても混合雑音を同時に識別することができる。
論文 参考訳(メタデータ) (2024-03-13T06:54:38Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Causal Discovery with Score Matching on Additive Models with Arbitrary
Noise [37.13308785728276]
因果発見法は、構造識別可能性を保証するために必要な仮定のセットによって本質的に制約される。
本稿では,雑音項のガウス性に反するエッジ反転のリスクを解析し,この仮説の下での推論の欠点を示す。
本稿では,一般的な雑音分布を持つ付加非線形モデルに基づいて生成されたデータから,因果グラフ内の変数の位相的順序付けを推定する新しい手法を提案する。
これは、最小限の仮定と、合成データに基づいて実験的にベンチマークされた技術性能の状態を持つ因果探索アルゴリズムであるNoGAMに繋がる。
論文 参考訳(メタデータ) (2023-04-06T17:50:46Z) - A model-free feature selection technique of feature screening and random
forest based recursive feature elimination [0.0]
質量特徴を持つ超高次元データのモデルフリー特徴選択法を提案する。
提案手法は選択整合性を示し, 弱正則条件下では$L$整合性を示す。
論文 参考訳(メタデータ) (2023-02-15T03:39:16Z) - Score-based Diffusion Models in Function Space [140.792362459734]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳(メタデータ) (2023-02-14T23:50:53Z) - Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation
Constrained Optimization [88.0031283949404]
多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。
提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-12-19T14:48:54Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Sparse Bayesian Learning via Stepwise Regression [1.2691047660244335]
我々は、RMP(Relevance Matching Pursuit)と呼ばれるSBLのための座標加算アルゴリズムを提案する。
ノイズ分散パラメータがゼロになるにつれて、RMPはステップワイド回帰と驚くべき関係を示す。
ステップワイド回帰アルゴリズムの新たな保証を導き、RMPにも光を当てる。
論文 参考訳(メタデータ) (2021-06-11T00:20:27Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Semi-analytic approximate stability selection for correlated data in
generalized linear models [3.42658286826597]
そこで本研究では,繰り返しのフィッティングを行なわずに安定選択を行うことのできる,新しい近似推論アルゴリズムを提案する。
このアルゴリズムは,情報理論の統計力学とベクトル近似メッセージパッシングの複製法に基づく。
数値実験により, このアルゴリズムは, 合成データと実世界のデータの両方に対して, 高速収束と高い近似精度を示すことを示した。
論文 参考訳(メタデータ) (2020-03-19T10:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。