論文の概要: LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization
- arxiv url: http://arxiv.org/abs/2408.06297v1
- Date: Mon, 12 Aug 2024 17:08:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 13:46:08.015600
- Title: LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization
- Title(参考訳): LEARN: オープンなロバストなオンライン最適化のためのインベックス損失
- Authors: Adarsh Barik, Anand Krishna, Vincent Y. F. Tan,
- Abstract要約: 敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
- 参考スコア(独自算出の注目度): 56.67706781191521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study a robust online convex optimization framework, where an adversary can introduce outliers by corrupting loss functions in an arbitrary number of rounds k, unknown to the learner. Our focus is on a novel setting allowing unbounded domains and large gradients for the losses without relying on a Lipschitz assumption. We introduce the Log Exponential Adjusted Robust and iNvex (LEARN) loss, a non-convex (invex) robust loss function to mitigate the effects of outliers and develop a robust variant of the online gradient descent algorithm by leveraging the LEARN loss. We establish tight regret guarantees (up to constants), in a dynamic setting, with respect to the uncorrupted rounds and conduct experiments to validate our theory. Furthermore, we present a unified analysis framework for developing online optimization algorithms for non-convex (invex) losses, utilizing it to provide regret bounds with respect to the LEARN loss, which may be of independent interest.
- Abstract(参考訳): 本研究では,学習者に対して未知の任意のラウンド数kにおける損失関数を破損させることにより,外乱を回避できるロバストなオンライン凸最適化フレームワークについて検討する。
我々の焦点は、リプシッツの仮定に頼らずに、非有界な領域と損失に対する大きな勾配を許容する新しい設定である。
我々は、ログ指数調整ロバストとiNvex損失(LEARN)、非凸(凸)ロバスト損失関数を導入し、外乱の影響を緩和し、LEARN損失を利用してオンライン勾配降下アルゴリズムのロバスト変種を開発する。
不安定なラウンドに関して、ダイナミックな設定で(定数まで)厳密な後悔の保証を確立し、我々の理論を検証する実験を行う。
さらに,非凸(凸)損失に対するオンライン最適化アルゴリズムを開発するための統合分析フレームワークを提案する。
関連論文リスト
- Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳(メタデータ) (2024-10-29T00:01:04Z) - EnsLoss: Stochastic Calibrated Loss Ensembles for Preventing Overfitting in Classification [1.3778851745408134]
経験的リスク最小化フレームワーク内で損失関数を結合する新しいアンサンブル手法,すなわちEnsLossを提案する。
まず、損失のCC条件を損失導関数に変換し、明示的な損失関数の必要性を回避した。
理論的には、我々のアプローチの統計的一貫性を確立し、その利点に関する洞察を提供する。
論文 参考訳(メタデータ) (2024-09-02T02:40:42Z) - Robust Loss Functions for Training Decision Trees with Noisy Labels [4.795403008763752]
我々は、頑健な学習アルゴリズムに繋がる損失関数に着目し、ノイズの多いラベル付きデータを用いて決定木を訓練することを検討する。
まず、決定木学習の文脈において、既存の損失関数のロバスト性に関する新しい理論的知見を提供する。
第2に,分散損失と呼ばれるロバストな損失関数を構築するためのフレームワークを導入する。
論文 参考訳(メタデータ) (2023-12-20T11:27:46Z) - Anti-Exploration by Random Network Distillation [63.04360288089277]
ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。
この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。
D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
論文 参考訳(メタデータ) (2023-01-31T13:18:33Z) - Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。
我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。
提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-14T21:54:31Z) - Stabilizing Off-Policy Deep Reinforcement Learning from Pixels [9.998078491879145]
ピクセル観測から学んだオフ政治強化は、非常に不安定である。
これらの不安定性は,畳み込みエンコーダと低次報酬を用いた時間差学習によって生じることを示す。
本稿では, エンコーダの勾配に適応的な正規化を提供する手法であるA-LIXを提案する。
論文 参考訳(メタデータ) (2022-07-03T08:52:40Z) - Near-optimal Offline Reinforcement Learning with Linear Representation:
Leveraging Variance Information with Pessimism [65.46524775457928]
オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。
線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
論文 参考訳(メタデータ) (2022-03-11T09:00:12Z) - Dynamic Regret for Strongly Adaptive Methods and Optimality of Online
KRR [13.165557713537389]
我々は、強い適応性(SA)アルゴリズムを、動的後悔を制御するための原則的な方法と見なせることを示した。
我々は,オンラインKernel Ridge Regression(KRR)の最小限の最適性を確立する,ある罰則による新たな下限を導出する。
論文 参考訳(メタデータ) (2021-11-22T21:52:47Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:48:46Z) - Online non-convex optimization with imperfect feedback [33.80530308979131]
非損失を伴うオンライン学習の問題を考える。
フィードバックの観点からは、学習者が各段階における損失関数の不正確なモデル(または構成)を観測すると仮定する。
本稿では,二元平均化に基づく混合戦略学習政策を提案する。
論文 参考訳(メタデータ) (2020-10-16T16:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。