論文の概要: A Novel Framework for Improving the Breakdown Point of Robust Regression Algorithms

• arxiv url: http://arxiv.org/abs/2305.12220v1
• Date: Sat, 20 May 2023 15:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:48:16.945679
• Title: A Novel Framework for Improving the Breakdown Point of Robust Regression Algorithms
• Title（参考訳）: ロバスト回帰アルゴリズムのブレークダウン点改善のための新しいフレームワーク
• Authors: Zheyi Fan, Szu Hui Ng, Qingpei Hu
• Abstract要約: 本稿では,頑健な回帰アルゴリズムの分解点を改善するための効果的なフレームワークを提案する。 反復局所探索(CORALS)を用いた一貫した頑健な回帰アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 1.9594639581421422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an effective framework for improving the breakdown point of robust regression algorithms. Robust regression has attracted widespread attention due to the ubiquity of outliers, which significantly affect the estimation results. However, many existing robust least-squares regression algorithms suffer from a low breakdown point, as they become stuck around local optima when facing severe attacks. By expanding on the previous work, we propose a novel framework that enhances the breakdown point of these algorithms by inserting a prior distribution in each iteration step, and adjusting the prior distribution according to historical information. We apply this framework to a specific algorithm and derive the consistent robust regression algorithm with iterative local search (CORALS). The relationship between CORALS and momentum gradient descent is described, and a detailed proof of the theoretical convergence of CORALS is presented. Finally, we demonstrate that the breakdown point of CORALS is indeed higher than that of the algorithm from which it is derived. We apply the proposed framework to other robust algorithms, and show that the improved algorithms achieve better results than the original algorithms, indicating the effectiveness of the proposed framework.
• Abstract（参考訳）: 本稿では,ロバスト回帰アルゴリズムのブレークダウンポイントを改善するための効果的なフレームワークを提案する。 ロバスト回帰は、推定結果に大きな影響を及ぼす外れ値の多様さにより、広く注目を集めている。 しかし、多くの既存のロバストな最小二乗回帰アルゴリズムは、深刻な攻撃に直面したときに局所的な最適点に悩まされるため、破壊点が低い。 先行研究を拡張して,各イテレーションステップに事前分布を挿入し,履歴情報に従って事前分布を調整することにより,これらのアルゴリズムのブレークダウンポイントを高める新しい枠組みを提案する。 このフレームワークを特定のアルゴリズムに適用し,反復局所探索(corals)を用いた一貫したロバスト回帰アルゴリズムを導出する。 コーラルSと運動量勾配勾配の関係について述べ、コーラルSの理論収束の詳細な証明を示す。 最後に、サンゴの分解点が、それが導出されるアルゴリズムの分解点よりも実際に高いことを実証する。 提案手法を他の頑健なアルゴリズムに適用し,改良されたアルゴリズムが元のアルゴリズムよりも優れた結果が得られることを示す。

関連論文リスト

• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• Best Subset Selection in Reduced Rank Regression [1.4699455652461724]
  提案アルゴリズムは,有意な確率でランク推定を行うことができることを示す。 がん研究における数値的研究と応用は、有効性と拡張性を示している。
  論文  参考訳（メタデータ） (2022-11-29T02:51:15Z)
• HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection [75.84584400866254]
  両アプローチの強みを両アプローチの弱さを緩和しつつ組み合わせ, 特殊林を利用した新しいアルゴリズムセレクタを提案する。 HARRISの決定は、ハイブリッドランキングと回帰損失関数に基づいて最適化された木を作成する森林モデルに基づいている。
  論文  参考訳（メタデータ） (2022-10-31T14:06:11Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Robust recovery for stochastic block models [16.74630355427558]
  ブロックモデルのロバストバージョンにおいて、弱い回復のための効率的なアルゴリズムを開発する。 その結果,ブロックモデルにロバストさの代償はないことがわかった。
  論文  参考訳（メタデータ） (2021-11-16T15:43:00Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Correlated Bandits for Dynamic Pricing via the ARC algorithm [2.7564955518050693]
  漸近ランダム化制御(Asymptotic Randomized Control)は、ベイズバンドの幅広いクラスに対する最適な戦略に厳密な近似を与える。 これにより、意思決定者は報酬に加えて信号を観察し、異なる選択の結果の相関を組み込むことができ、見積もりに非自明なダイナミクスを持つことができる。
  論文  参考訳（メタデータ） (2021-02-08T14:54:26Z)
• An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits [129.1029690825929]
  複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。 非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
  論文  参考訳（メタデータ） (2020-10-23T09:12:47Z)
• Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
  政治政策の最適化は強化学習において難しい問題である。 オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
  論文  参考訳（メタデータ） (2020-09-14T16:22:46Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。