論文の概要: Robust supervised learning with coordinate gradient descent
- arxiv url: http://arxiv.org/abs/2201.13372v1
- Date: Mon, 31 Jan 2022 17:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 17:08:13.014770
- Title: Robust supervised learning with coordinate gradient descent
- Title（参考訳）: 座標勾配降下を用いたロバスト教師付き学習
- Authors: St\'ephane Ga\"iffas and Ibrahim Merad
- Abstract要約: 偏微分のロバストな推定器を併用した学習アルゴリズムとして座標勾配降下法を提案する。
これにより、非破壊的な数値的な複雑性を持つ頑健な統計的学習法が導かれる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper considers the problem of supervised learning with linear methods
when both features and labels can be corrupted, either in the form of heavy
tailed data and/or corrupted rows. We introduce a combination of coordinate
gradient descent as a learning algorithm together with robust estimators of the
partial derivatives. This leads to robust statistical learning methods that
have a numerical complexity nearly identical to non-robust ones based on
empirical risk minimization. The main idea is simple: while robust learning
with gradient descent requires the computational cost of robustly estimating
the whole gradient to update all parameters, a parameter can be updated
immediately using a robust estimator of a single partial derivative in
coordinate gradient descent. We prove upper bounds on the generalization error
of the algorithms derived from this idea, that control both the optimization
and statistical errors with and without a strong convexity assumption of the
risk. Finally, we propose an efficient implementation of this approach in a new
python library called linlearn, and demonstrate through extensive numerical
experiments that our approach introduces a new interesting compromise between
robustness, statistical performance and numerical efficiency for this problem.
- Abstract（参考訳）: 本稿では,重み付きデータや重み付き行のいずれにおいても特徴とラベルを損なうことができるような線形手法による教師あり学習の問題について考察する。
偏微分のロバストな推定器を併用した学習アルゴリズムとして座標勾配降下法を提案する。
これにより、経験的リスク最小化に基づく非ロバスト学習とほぼ同一の数値的複雑性を持つ頑健な統計学習手法が導かれる。
勾配降下を伴うロバスト学習は、すべてのパラメータを更新するために勾配全体をロバストに推定する計算コストを必要とするが、座標勾配降下において単一の部分微分のロバスト推定子を使用してパラメータを即座に更新することができる。
このアイデアから導かれるアルゴリズムの一般化誤差の上限を証明し、リスクの強い凸性仮定を伴わずに最適化と統計的誤差の両方を制御する。
最後に,linlearnと呼ばれる新しいpythonライブラリにおいて,この手法の効率的な実装を提案し,本手法がロバスト性,統計性能,数値効率の新たな妥協をもたらすことを示す。
関連論文リスト
- Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Taylor Learning [0.0]
経験的リスク最小化は、教師付き機械学習におけるほとんどの最適化の背後にある。
本稿では,勾配降下や経験的リスク最小化を用いない実解析関数モデルを構築するための学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:10:58Z) - Efficient Graph Laplacian Estimation by Proximal Newton [12.05527862797306]
グラフ学習問題は、精度行列の最大極大推定(MLE)として定式化することができる。
いくつかのアルゴリズム的特徴を利用した効率的な解法を得るための2次手法を開発した。
論文 参考訳（メタデータ） (2023-02-13T15:13:22Z) - Robust empirical risk minimization via Newton's method [9.797319790710711]
実験的リスク最小化のためのニュートン法の新しい変種について検討した。
目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。
また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T18:54:54Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Learning from Similarity-Confidence Data [94.94650350944377]
類似度信頼性(Sconf)データから学習する新しい弱監督学習問題について検討する。
本研究では,Sconfデータのみから計算可能な分類リスクの非バイアス推定器を提案し,推定誤差境界が最適収束率を達成することを示す。
論文 参考訳（メタデータ） (2021-02-13T07:31:16Z) - Benefit of deep learning with non-convex noisy gradient descent:
Provable excess risk bound and superiority to kernel methods [41.60125423028092]
線形推定器は,極小値の最適値の意味で,ディープラーニングにより性能が向上することを示した。
過剰な境界はいわゆる高速学習率であり、$O境界よりも高速である。
論文 参考訳（メタデータ） (2020-12-06T09:22:16Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - Progressive Identification of True Labels for Partial-Label Learning [112.94467491335611]
部分ラベル学習(Partial-label Learning, PLL)は、典型的な弱教師付き学習問題であり、各トレーニングインスタンスには、真のラベルである候補ラベルのセットが設けられている。
既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として精巧に設計されており、計算複雑性をビッグデータにスケールアップするボトルネックにしている。
本稿では,モデルと最適化アルゴリズムの柔軟性を備えた分類器の新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。