論文の概要: Towards Practical Robustness Auditing for Linear Regression
- arxiv url: http://arxiv.org/abs/2307.16315v1
- Date: Sun, 30 Jul 2023 20:47:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 16:28:35.565009
- Title: Towards Practical Robustness Auditing for Linear Regression
- Title（参考訳）: 線形回帰の実践的ロバスト性監査に向けて
- Authors: Daniel Freund and Samuel B. Hopkins
- Abstract要約: データセットの小さなサブセットの存在を発見または否定するアルゴリズムについて検討する。
これらの手法は, 技術の状況を大きく上回り, 数次元における回帰問題の堅牢性チェックに有用であることを示す。
我々は、アルゴリズムの頑健な統計学における最近の革新から引き出されたアイデアを用いて、スペクトルアルゴリズムを用いて、この課題を先導する。
- 参考スコア（独自算出の注目度）: 8.9598796481325
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate practical algorithms to find or disprove the existence of
small subsets of a dataset which, when removed, reverse the sign of a
coefficient in an ordinary least squares regression involving that dataset. We
empirically study the performance of well-established algorithmic techniques
for this task -- mixed integer quadratically constrained optimization for
general linear regression problems and exact greedy methods for special cases.
We show that these methods largely outperform the state of the art and provide
a useful robustness check for regression problems in a few dimensions. However,
significant computational bottlenecks remain, especially for the important task
of disproving the existence of such small sets of influential samples for
regression problems of dimension $3$ or greater. We make some headway on this
challenge via a spectral algorithm using ideas drawn from recent innovations in
algorithmic robust statistics. We summarize the limitations of known techniques
in several challenge datasets to encourage further algorithmic innovation.
- Abstract（参考訳）: 本研究では,データセットに含まれる最小二乗回帰の係数の符号を逆にする,データセットの小さな部分集合の存在を探索または否定する実用的なアルゴリズムについて検討する。
一般線形回帰問題に対する混合整数2次制約最適化法と特別な場合の厳密な欲望法を用いて,この課題に対する確立されたアルゴリズム手法の性能を実証的に検討した。
これらの手法は,技術水準を大きく上回っており,数次元の回帰問題のロバスト性検査に有用であることを示す。
しかし、特に3ドル以上の回帰問題に対する影響のあるサンプルの小さな集合の存在を否定する重要なタスクにおいて、重要な計算上のボトルネックが残っている。
我々は,近年のアルゴリズムロバスト統計学の革新から導かれたアイデアを用いて,スペクトルアルゴリズムを用いてこの問題に一歩前進する。
我々は,既知の手法の限界をいくつかの課題データセットにまとめ,さらなるアルゴリズム革新を促す。
関連論文リスト
- A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。
提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文 参考訳（メタデータ） (2024-09-07T06:37:23Z) - A Guide to Stochastic Optimisation for Large-Scale Inverse Problems [4.926711494319977]
最適化アルゴリズムは、大量のデータを持つ機械学習のデファクトスタンダードです。
我々は、逆問題の観点から、最適化における最先端の総合的な説明を提供する。
私たちは、機械学習で一般的に遭遇しない、ユニークな最適化の課題に焦点を合わせています。
論文 参考訳（メタデータ） (2024-06-10T15:02:30Z) - Geometry-Aware Approaches for Balancing Performance and Theoretical
Guarantees in Linear Bandits [6.907555940790131]
トンプソンサンプリングとグリーディは有望な経験的性能を示したが、これは悲観的な理論的後悔の境界とは対照的である。
本研究では不確実楕円体の幾何学的特性を追跡する新しいデータ駆動手法を提案する。
ベースアルゴリズムが不十分な問題インスタンスを特定し,コース修正する。
論文 参考訳（メタデータ） (2023-06-26T17:38:45Z) - A Bayesian Robust Regression Method for Corrupted Data Reconstruction [5.298637115178182]
我々は適応的敵攻撃に抵抗できる効果的なロバスト回帰法を開発した。
まず TRIP (hard Thresholding approach to Robust regression with sImple Prior) アルゴリズムを提案する。
次に、より堅牢なBRHT (robust Bayesian Reweighting regression via Hard Thresholding) アルゴリズムを構築するためにベイズ再重み付け(Bayesian reweighting)というアイデアを用いる。
論文 参考訳（メタデータ） (2022-12-24T17:25:53Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳（メタデータ） (2022-11-16T15:07:00Z) - A Data-Driven Line Search Rule for Support Recovery in High-dimensional
Data Analysis [5.180648702293017]
適切なステップサイズを適応的に決定する新しい,効率的なデータ駆動行探索法を提案する。
線形回帰問題とロジスティック回帰問題における最先端アルゴリズムとの比較は,提案アルゴリズムの安定性,有効性,優越性を示す。
論文 参考訳（メタデータ） (2021-11-21T12:18:18Z) - Quantum-Inspired Algorithms from Randomized Numerical Linear Algebra [53.46106569419296]
我々は、リコメンダシステムと最小二乗回帰のためのクエリをサポートする古典的な(量子でない)動的データ構造を作成する。
これらの問題に対する以前の量子インスパイアされたアルゴリズムは、レバレッジやリッジレベレッジスコアを偽装してサンプリングしていると我々は主張する。
論文 参考訳（メタデータ） (2020-11-09T01:13:07Z) - Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。
オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文 参考訳（メタデータ） (2020-09-14T16:22:46Z) - A spectral algorithm for robust regression with subgaussian rates [0.0]
本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。
目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
論文 参考訳（メタデータ） (2020-07-12T19:33:50Z) - Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。
近勾配法はOWL回帰を解くための標準手法として用いられる。
未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
論文 参考訳（メタデータ） (2020-06-29T23:35:53Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。