論文の概要: Robust Regression over Averaged Uncertainty
- arxiv url: http://arxiv.org/abs/2311.06960v1
- Date: Sun, 12 Nov 2023 20:57:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:02:03.351442
- Title: Robust Regression over Averaged Uncertainty
- Title(参考訳): 平均不確実性に対するロバスト回帰
- Authors: Dimitris Bertsimas, Yu Ma
- Abstract要約: この定式化はリッジ回帰を驚くほど回復させ、既存の回帰問題に対するロバスト最適化と平均二乗誤差アプローチの欠如を証明している。
また, 摂動レベルの異なる合成データセットにおいて, 既往の最悪の定式化よりも平均定式化が一貫した改善が見られた。
- 参考スコア(独自算出の注目度): 8.799946547516155
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new formulation of robust regression by integrating all
realizations of the uncertainty set and taking an averaged approach to obtain
the optimal solution for the ordinary least-squared regression problem. We show
that this formulation surprisingly recovers ridge regression and establishes
the missing link between robust optimization and the mean squared error
approaches for existing regression problems. We first prove the equivalence for
four uncertainty sets: ellipsoidal, box, diamond, and budget, and provide
closed-form formulations of the penalty term as a function of the sample size,
feature size, as well as perturbation protection strength. We then show in
synthetic datasets with different levels of perturbations, a consistent
improvement of the averaged formulation over the existing worst-case
formulation in out-of-sample performance. Importantly, as the perturbation
level increases, the improvement increases, confirming our method's advantage
in high-noise environments. We report similar improvements in the out-of-sample
datasets in real-world regression problems obtained from UCI datasets.
- Abstract(参考訳): そこで本稿では,不確実性集合のすべての実現と平均的アプローチを取り入れ,最小二乗回帰問題に対する最適解を求めることにより,ロバスト回帰の新たな定式化を提案する。
この定式化はリッジ回帰を驚くほど回復し、既存の回帰問題に対するロバスト最適化と平均二乗誤差アプローチの間に欠落したリンクを確立する。
まず, 楕円形, ボックス, ダイヤモンド, 予算の4つの不確実性集合の等価性を証明し, サンプルサイズ, 特徴量, 摂動保護強度の関数として, ペナルティ項の閉形式の定式化を行う。
次に,摂動のレベルが異なる合成データセットにおいて,既存の最悪条件に対する平均定式化の一貫した改善を示す。
重要となるのは,摂動レベルが上昇するにつれて改善が進み,高雑音環境における本手法のアドバンテージを確認することである。
UCIデータセットから得られた実世界の回帰問題におけるサンプル外データセットの類似した改善について報告する。
関連論文リスト
- Model-Based Epistemic Variance of Values for Risk-Aware Policy
Optimization [63.32053223422317]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
特に、MDP上の分布によって誘導される値の分散を特徴付けることに焦点をあてる。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
論文 参考訳(メタデータ) (2023-12-07T15:55:58Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳(メタデータ) (2023-05-16T08:37:54Z) - Refining Amortized Posterior Approximations using Gradient-Based Summary
Statistics [0.9176056742068814]
逆問題の文脈における後部分布の補正近似を改善するための反復的枠組みを提案する。
そこで我々は,本手法をスタイリング問題に適用して制御条件で検証し,改良された後部近似を各繰り返しで観察する。
論文 参考訳(メタデータ) (2023-05-15T15:47:19Z) - A Bayesian Robust Regression Method for Corrupted Data Reconstruction [5.298637115178182]
我々は適応的敵攻撃に抵抗できる効果的なロバスト回帰法を開発した。
まず TRIP (hard Thresholding approach to Robust regression with sImple Prior) アルゴリズムを提案する。
次に、より堅牢なBRHT (robust Bayesian Reweighting regression via Hard Thresholding) アルゴリズムを構築するためにベイズ再重み付け(Bayesian reweighting)というアイデアを用いる。
論文 参考訳(メタデータ) (2022-12-24T17:25:53Z) - Benign overfitting and adaptive nonparametric regression [71.70323672531606]
本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。
我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
論文 参考訳(メタデータ) (2022-06-27T14:50:14Z) - RIGID: Robust Linear Regression with Missing Data [7.638042073679073]
機能に欠落したエントリで線形回帰を行うための堅牢なフレームワークを提案する。
本稿では,変数間の依存性を自然に考慮した定式化が,凸プログラムに還元されることを示す。
詳細な分析に加えて,提案するフレームワークの挙動を分析し,技術的議論を行う。
論文 参考訳(メタデータ) (2022-05-26T21:10:17Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z) - Distributionally Robust Learning [11.916893752969429]
本書は,データの摂動に頑健な包括的統計学習フレームワークを開発する。
各問題に対する引き込み可能なDRO緩和が導出され、境界と正規化の間の接続が確立される。
理論以外にも、数値実験や、合成データと実データを用いたケーススタディも含んでいる。
論文 参考訳(メタデータ) (2021-08-20T04:14:18Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳(メタデータ) (2020-11-30T21:47:38Z) - Approximation Schemes for ReLU Regression [80.33702497406632]
我々はReLU回帰の根本的な問題を考察する。
目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
論文 参考訳(メタデータ) (2020-05-26T16:26:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。