論文の概要: Robust Regression via Model Based Methods
- arxiv url: http://arxiv.org/abs/2106.10759v2
- Date: Tue, 22 Jun 2021 02:24:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 12:12:56.965412
- Title: Robust Regression via Model Based Methods
- Title(参考訳): モデルベース手法によるロバスト回帰
- Authors: Armin Moharrer, Khashayar Kamran, Edmund Yeh, and Stratis Ioannidis
- Abstract要約: モデルベース最適化 (MBO) [35, 36] に着想を得たアルゴリズムを提案し, 非対象を凸モデル関数に置き換える。
これをロバスト回帰に適用し、MBOの内部最適化を解くために、オンライン乗算器のオンライン交互方向法(OOADM) [50] の関数 SADM を提案する。
最後に、(a)アウトレーヤに対するl_pノルムのロバスト性、(b)オートエンコーダ法とマルチターゲット回帰法と比較して、提案したモデルベースアルゴリズムの効率性を実験的に実証した。
- 参考スコア(独自算出の注目度): 13.300549123177705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The mean squared error loss is widely used in many applications, including
auto-encoders, multi-target regression, and matrix factorization, to name a
few. Despite computational advantages due to its differentiability, it is not
robust to outliers. In contrast, l_p norms are known to be robust, but cannot
be optimized via, e.g., stochastic gradient descent, as they are
non-differentiable. We propose an algorithm inspired by so-called model-based
optimization (MBO) [35, 36], which replaces a non-convex objective with a
convex model function and alternates between optimizing the model function and
updating the solution. We apply this to robust regression, proposing SADM, a
stochastic variant of the Online Alternating Direction Method of Multipliers
(OADM) [50] to solve the inner optimization in MBO. We show that SADM converges
with the rate O(log T/T). Finally, we demonstrate experimentally (a) the
robustness of l_p norms to outliers and (b) the efficiency of our proposed
model-based algorithms in comparison with gradient methods on autoencoders and
multi-target regression.
- Abstract(参考訳): 平均二乗誤差損失は、オートエンコーダ、マルチターゲット回帰、行列分解など、多くのアプリケーションで広く使われている。
微分可能性による計算上の優位性にもかかわらず、外れ値には堅牢ではない。
対照的に、l_pノルムはロバストであることが知られているが、例えば確率的勾配降下(英語版)によって最適化することはできない。
モデルベース最適化 (MBO) [35, 36] にインスパイアされたアルゴリズムを提案し, 非凸対象を凸モデル関数に置き換え, モデル関数の最適化と解の更新を交互に行う。
これを頑健な回帰に適用し、MBOの内部最適化を解くために、OADM(Online Alternating Direction Method of Multipliers) [50] の確率的変種であるSADMを提案する。
SADM は O(log T/T) に収束することを示す。
最後に, (a) 外れ値に対するl_pノルムのロバスト性, (b) 提案するモデルに基づくアルゴリズムの効率を, オートエンコーダの勾配法や多目標回帰法と比較して実験的に示す。
関連論文リスト
- Multi-Response Heteroscedastic Gaussian Process Models and Their
Inference [1.52292571922932]
本稿ではヘテロセダスティック共分散関数のモデリングのための新しいフレームワークを提案する。
後部モデルに近似し, 後部予測モデルを容易にするために, 変分推論を用いる。
提案するフレームワークは,幅広いアプリケーションに対して,堅牢で汎用的なツールを提供する。
論文 参考訳(メタデータ) (2023-08-29T15:06:47Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Inverse Kernel Decomposition [3.066967635405937]
逆カーネル分解法(Inverse Kernel Decomposition, IKD)を提案する。
IKDはデータのサンプル共分散行列の固有分解に基づいている。
合成データセットと4つの実世界のデータセットを用いて、IKDが他の固有分解法よりも次元削減法として優れていることを示す。
論文 参考訳(メタデータ) (2022-11-11T02:14:29Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - MARS via LASSO [1.0093662416275693]
我々はMARS法の自然変種を提案し,研究する。
提案手法は,関数の凸クラス上での少なくとも2乗推定に基づいている。
我々の推定器は有限次元凸最適化によって計算できる。
論文 参考訳(メタデータ) (2021-11-23T07:30:33Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。
本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。
数値実験により, 効率の面で有意な改善が得られることを示した。
論文 参考訳(メタデータ) (2021-04-22T07:41:12Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z) - Uncertainty Modelling in Risk-averse Supply Chain Systems Using
Multi-objective Pareto Optimization [0.0]
サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。
我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
論文 参考訳(メタデータ) (2020-04-24T21:04:25Z) - GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal
Black Box Constraint Satisfaction [69.94831587339539]
本稿では,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を提案する。
我々のアルゴリズムは複雑な解空間を表現でき、様々な異なる解領域を追跡できる。
論文 参考訳(メタデータ) (2020-02-17T20:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。