論文の概要: Ridge regression with adaptive additive rectangles and other piecewise
functional templates
- arxiv url: http://arxiv.org/abs/2011.01048v1
- Date: Mon, 2 Nov 2020 15:28:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 11:29:37.556152
- Title: Ridge regression with adaptive additive rectangles and other piecewise
functional templates
- Title(参考訳): 適応的長方形および他の区分的機能テンプレートを用いたリッジ回帰
- Authors: Edoardo Belli, Simone Vantini
- Abstract要約: 関数線形回帰モデルに対する$L_2$ベースのペナル化アルゴリズムを提案する。
提案アルゴリズムは,適切なテンプレートの近似と凸リッジのような問題の解法とを交互に行う方法を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an $L_{2}$-based penalization algorithm for functional linear
regression models, where the coefficient function is shrunk towards a
data-driven shape template $\gamma$, which is constrained to belong to a class
of piecewise functions by restricting its basis expansion. In particular, we
focus on the case where $\gamma$ can be expressed as a sum of $q$ rectangles
that are adaptively positioned with respect to the regression error. As the
problem of finding the optimal knot placement of a piecewise function is
nonconvex, the proposed parametrization allows to reduce the number of
variables in the global optimization scheme, resulting in a fitting algorithm
that alternates between approximating a suitable template and solving a convex
ridge-like problem. The predictive power and interpretability of our method is
shown on multiple simulations and two real world case studies.
- Abstract(参考訳): 本研究では,関数型線形回帰モデルに対する$l_{2}$に基づくペナリゼーションアルゴリズムを提案する。ここでは係数関数をデータ駆動型テンプレート $\gamma$ に縮小し,基底展開を制限して分割関数のクラスに属するように制約する。
特に、$\gamma$ が回帰誤差に対して適応的に位置付けられた $q$ 長方形の和として表現できる場合に焦点を当てる。
ピースワイズ関数の最適結び目配置を求める問題は非凸であり、提案したパラメトリゼーションはグローバル最適化スキームの変数数を減らし、適切なテンプレートの近似と凸リッジのような問題の解を交互に行うフィッティングアルゴリズムを実現する。
本手法の予測能力と解釈性は,複数のシミュレーションと実世界の2つのケーススタディで示される。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Mapping-to-Parameter Nonlinear Functional Regression with Novel B-spline
Free Knot Placement Algorithm [12.491024918270824]
非線形機能回帰に対する新しいアプローチを提案する。
このモデルは無限次元関数空間から有限次元パラメータ空間への関数データのマッピングに基づいている。
結び目配置アルゴリズムの性能は, 単一関数近似と多関数近似の両方において堅牢であることが示されている。
論文 参考訳(メタデータ) (2024-01-26T16:35:48Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online
Ensemble Approach [65.10444843694003]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $widehatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳(メタデータ) (2023-07-17T09:55:35Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳(メタデータ) (2022-08-10T19:17:45Z) - Spike-and-Slab Generalized Additive Models and Scalable Algorithms for
High-Dimensional Data [0.0]
本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。
曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。
2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
論文 参考訳(メタデータ) (2021-10-27T14:11:13Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳(メタデータ) (2021-03-10T17:07:57Z) - On the Adversarial Robustness of LASSO Based Feature Selection [72.54211869067979]
検討されたモデルでは、悪意のある敵がデータセット全体を観察し、レスポンス値やフィーチャーマトリックスを慎重に修正する。
両レベルの最適化問題として、敵の修正戦略を定式化する。
合成および実データを用いた数値的な例は,本手法が効率的かつ効果的であることを示している。
論文 参考訳(メタデータ) (2020-10-20T05:51:26Z) - Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。
実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
論文 参考訳(メタデータ) (2020-07-05T18:58:47Z) - Efficient algorithms for multivariate shape-constrained convex
regression problems [9.281671380673306]
最小二乗推定器は、制約付き凸プログラミング(QP)問題を$(n+1)d$変数と少なくとも$n(n-1)$線形不等式制約で解くことで計算可能であることを証明している。
一般に非常に大規模な凸QPを解くために、我々は2つの効率的なアルゴリズムを設計する。1つは対称ガウス・シーデルに基づく乗算器の交互方向法(tt sGS-ADMM)であり、もう1つは半滑らかニュートン法(tt)によって解かれる部分プロブレムを持つ近似拡張ラグランジアン法(tt pALM)である。
論文 参考訳(メタデータ) (2020-02-26T11:18:43Z) - Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。
正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。
高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文 参考訳(メタデータ) (2020-02-25T23:05:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。