論文の概要: Robust Online Convex Optimization in the Presence of Outliers
- arxiv url: http://arxiv.org/abs/2107.01881v1
- Date: Mon, 5 Jul 2021 09:14:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 14:52:58.067562
- Title: Robust Online Convex Optimization in the Presence of Outliers
- Title(参考訳): アウトレーヤ存在下でのロバストオンライン凸最適化
- Authors: Tim van Erven, Sarah Sachs, Wouter M. Koolen and Wojciech Kot{\l}owski
- Abstract要約: 多数のデータポイントが外れ値である場合、オンライン凸最適化を考慮し、破損する可能性がある。
私たちは、不利でないラウンドでのみ後悔を測定する頑健な後悔の概念を導入することでこれをモデル化します。
- 参考スコア(独自算出の注目度): 19.97704019887898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider online convex optimization when a number k of data points are
outliers that may be corrupted. We model this by introducing the notion of
robust regret, which measures the regret only on rounds that are not outliers.
The aim for the learner is to achieve small robust regret, without knowing
where the outliers are. If the outliers are chosen adversarially, we show that
a simple filtering strategy on extreme gradients incurs O(k) additive overhead
compared to the usual regret bounds, and that this is unimprovable, which means
that k needs to be sublinear in the number of rounds. We further ask which
additional assumptions would allow for a linear number of outliers. It turns
out that the usual benign cases of independently, identically distributed
(i.i.d.) observations or strongly convex losses are not sufficient. However,
combining i.i.d. observations with the assumption that outliers are those
observations that are in an extreme quantile of the distribution, does lead to
sublinear robust regret, even though the expected number of outliers is linear.
- Abstract(参考訳): 多数のデータポイントが外れ値である場合、オンライン凸最適化を考慮に入れます。
私たちは、不利でないラウンドでのみ後悔を測定する頑健な後悔の概念を導入することでこれをモデル化します。
学習者の目的は、外れ値がどこにあるかを知ることなく、小さな頑健な後悔を達成することである。
外れ値が逆向きに選択された場合、極端な勾配上の単純なフィルタリング戦略は、通常の後悔境界よりも O(k) 加法的オーバーヘッドを生じさせ、これは証明不可能であり、つまり、k はラウンド数で亜線型である必要があることを示す。
さらに、どの仮定が線形な外れ値の数を許容するかを尋ねる。
その結果、通常の良性ケースは独立して、同じ分布(d)であることがわかった。
観測や強い凸損失は不十分である。
しかし、i.i.dと組み合わせる。
外れ値が分布の極端な定量値にあるという仮定による観測は、期待される外れ値の数が線形であるにもかかわらず、下位の頑健な後悔を引き起こす。
関連論文リスト
- AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail
Problems [102.95119281306893]
我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。
我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。
我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
論文 参考訳(メタデータ) (2022-06-24T09:13:39Z) - Maximum Likelihood Uncertainty Estimation: Robustness to Outliers [3.673994921516517]
トレーニングデータのアウトレーヤやノイズラベルは、劣化したパフォーマンスと不確実性の誤った推定をもたらす。
そこで本研究では,オフレイアに対するロバスト性を改善するために,重み付き分布を用いることを提案する。
論文 参考訳(メタデータ) (2022-02-03T10:41:34Z) - Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。
本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
論文 参考訳(メタデータ) (2021-12-31T00:27:31Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - C-AllOut: Catching & Calling Outliers by Type [10.69970450827617]
C-AllOutは、型別に外れ値に注釈を付ける新しい外れ値検出器である。
パラメータフリーでスケーラブルであり、必要であればペアワイズな類似点(あるいは距離)でのみ動作する。
論文 参考訳(メタデータ) (2021-10-13T14:25:52Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳(メタデータ) (2021-07-05T21:05:11Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-28T11:07:59Z) - Distribution-Free Robust Linear Regression [5.532477732693]
共変体の分布を仮定せずにランダムな設計線形回帰を研究する。
最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。
我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
論文 参考訳(メタデータ) (2021-02-25T15:10:41Z) - Suboptimality of Constrained Least Squares and Improvements via
Non-Linear Predictors [3.5788754401889014]
有界ユークリッド球における正方形損失に対する予測問題と最良の線形予測器について検討する。
最小二乗推定器に対する$O(d/n)$過剰リスク率を保証するのに十分な分布仮定について論じる。
論文 参考訳(メタデータ) (2020-09-19T21:39:46Z) - $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a
Robust Divergence Estimator [95.71091446753414]
最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。
本手法は既存の不一致対策よりも高いロバスト性を実現する。
論文 参考訳(メタデータ) (2020-06-13T06:09:27Z) - Finding Outliers in Gaussian Model-Based Clustering [2.4366811507669124]
外層アルゴリズムは、外層包摂法とトリミング法という2つの広いカテゴリに分類される傾向がある。
ログ類似度が基準分布に従うまで、最も可能性の低い点を除去するアルゴリズムが提案されている。
この結果、本質的に外接数の数を推定するトリミング法が導かれる。
論文 参考訳(メタデータ) (2019-07-02T03:02:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。