論文の概要: Robust Regression over Averaged Uncertainty

• arxiv url: http://arxiv.org/abs/2311.06960v1
• Date: Sun, 12 Nov 2023 20:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 16:02:03.351442
• Title: Robust Regression over Averaged Uncertainty
• Title（参考訳）: 平均不確実性に対するロバスト回帰
• Authors: Dimitris Bertsimas, Yu Ma
• Abstract要約: この定式化はリッジ回帰を驚くほど回復させ、既存の回帰問題に対するロバスト最適化と平均二乗誤差アプローチの欠如を証明している。 また, 摂動レベルの異なる合成データセットにおいて, 既往の最悪の定式化よりも平均定式化が一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 8.799946547516155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new formulation of robust regression by integrating all realizations of the uncertainty set and taking an averaged approach to obtain the optimal solution for the ordinary least-squared regression problem. We show that this formulation surprisingly recovers ridge regression and establishes the missing link between robust optimization and the mean squared error approaches for existing regression problems. We first prove the equivalence for four uncertainty sets: ellipsoidal, box, diamond, and budget, and provide closed-form formulations of the penalty term as a function of the sample size, feature size, as well as perturbation protection strength. We then show in synthetic datasets with different levels of perturbations, a consistent improvement of the averaged formulation over the existing worst-case formulation in out-of-sample performance. Importantly, as the perturbation level increases, the improvement increases, confirming our method's advantage in high-noise environments. We report similar improvements in the out-of-sample datasets in real-world regression problems obtained from UCI datasets.
• Abstract（参考訳）: そこで本稿では,不確実性集合のすべての実現と平均的アプローチを取り入れ,最小二乗回帰問題に対する最適解を求めることにより,ロバスト回帰の新たな定式化を提案する。 この定式化はリッジ回帰を驚くほど回復し、既存の回帰問題に対するロバスト最適化と平均二乗誤差アプローチの間に欠落したリンクを確立する。 まず, 楕円形, ボックス, ダイヤモンド, 予算の4つの不確実性集合の等価性を証明し, サンプルサイズ, 特徴量, 摂動保護強度の関数として, ペナルティ項の閉形式の定式化を行う。 次に,摂動のレベルが異なる合成データセットにおいて,既存の最悪条件に対する平均定式化の一貫した改善を示す。 重要となるのは,摂動レベルが上昇するにつれて改善が進み,高雑音環境における本手法のアドバンテージを確認することである。 UCIデータセットから得られた実世界の回帰問題におけるサンプル外データセットの類似した改善について報告する。

関連論文リスト

• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Conformal Prediction with Missing Values [19.18178194789968]
  まず,共形予測の限界カバレッジ保証が,不一致分布のインプットデータに当てはまることを示す。 次に、インプットされたデータに基づいてトレーニングされた普遍的に一貫した量子レグレッションアルゴリズムが、ピンボールリスクに対してベイズ最適であることを示す。
  論文  参考訳（メタデータ） (2023-06-05T09:28:03Z)
• Errors-in-variables Fr\'echet Regression with Low-rank Covariate Approximation [2.1756081703276]
  Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。 提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
  論文  参考訳（メタデータ） (2023-05-16T08:37:54Z)
• RIGID: Robust Linear Regression with Missing Data [7.638042073679073]
  機能に欠落したエントリで線形回帰を行うための堅牢なフレームワークを提案する。 本稿では,変数間の依存性を自然に考慮した定式化が,凸プログラムに還元されることを示す。 詳細な分析に加えて,提案するフレームワークの挙動を分析し,技術的議論を行う。
  論文  参考訳（メタデータ） (2022-05-26T21:10:17Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Complexity-Free Generalization via Distributionally Robust Optimization [4.313143197674466]
  分散ロバスト最適化(DRO)から解の一般化境界を得るための代替経路を提案する。 我々の DRO 境界は、あいまいな集合の幾何と真の損失関数との整合性に依存する。 特に、DRO距離計量として最大平均誤差を用いる場合、我々の分析は、我々の知識の最も良いところは、真の損失関数にのみ依存する文献における第一の一般化であることを示している。
  論文  参考訳（メタデータ） (2021-06-21T15:19:52Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。