論文の概要: On the Error Resistance of Hinge Loss Minimization

• arxiv url: http://arxiv.org/abs/2012.00989v1
• Date: Wed, 2 Dec 2020 06:49:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 03:53:18.983903
• Title: On the Error Resistance of Hinge Loss Minimization
• Title（参考訳）: ヒンジ損失最小化の誤差抵抗について
• Authors: Kunal Talwar
• Abstract要約: 我々は、損失最小化アルゴリズムが正しい分類器を確実に学習するデータ上の条件の集合を同定する。 特に、データがわずかに非自明なマージンで線形に分類可能であれば、サロゲート損失最小化は非破壊データに無視できる誤差を持つことを示す。
• 参考スコア（独自算出の注目度）: 30.808062097285706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonly used classification algorithms in machine learning, such as support vector machines, minimize a convex surrogate loss on training examples. In practice, these algorithms are surprisingly robust to errors in the training data. In this work, we identify a set of conditions on the data under which such surrogate loss minimization algorithms provably learn the correct classifier. This allows us to establish, in a unified framework, the robustness of these algorithms under various models on data as well as error. In particular, we show that if the data is linearly classifiable with a slightly non-trivial margin (i.e. a margin at least $C/\sqrt{d}$ for $d$-dimensional unit vectors), and the class-conditional distributions are near isotropic and logconcave, then surrogate loss minimization has negligible error on the uncorrupted data even when a constant fraction of examples are adversarially mislabeled.
• Abstract（参考訳）: サポートベクトルマシンなどの機械学習における一般的な分類アルゴリズムは、トレーニング例における凸代理損失を最小限に抑える。 実際、これらのアルゴリズムはトレーニングデータのエラーに対して驚くほど堅牢である。 本研究では,そのようなサーロゲート損失最小化アルゴリズムが正しい分類器を確実に学習するデータ上の条件を同定する。 これにより、データ上のさまざまなモデルとエラーの下で、これらのアルゴリズムのロバスト性を確立することができます。 特に、データがわずかに非自明なマージン(すなわち)で線形に分類可能であることを示す。 少なくとも$c/\sqrt{d}$ for $d$-dimensional unit vectors) のマージンとクラス条件分布は等方性と対数性に近く、従ってサーロゲート損失最小化は、例の一定割合が逆的に誤ってラベル付けされた場合でも、非破壊データに対して無視できる誤差を持つ。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Robust Online Covariance and Sparse Precision Estimation Under Arbitrary Data Corruption [1.5850859526672516]
  本稿では,オンラインシナリオにおける共分散を頑健に推定する改良型トリミング・インナー・プロデューサアルゴリズムを提案する。 推定値の誤差バウンドおよび収束特性を,アルゴリズムの真精度行列に与える。
  論文  参考訳（メタデータ） (2023-09-16T05:37:28Z)
• Throwing Away Data Improves Worst-Class Error in Imbalanced Classification [36.91428748713018]
  クラス不均衡は分類問題に悪影響を及ぼすが、その治療は理論と実践において異なる。 本稿では,線形分離可能なデータに対する分類器の誤りを記述できる学習理論の開発に挑戦する。
  論文  参考訳（メタデータ） (2022-05-23T23:43:18Z)
• The Interplay between Distribution Parameters and the Accuracy-Robustness Tradeoff in Classification [0.0]
  アドリラルトレーニングは、通常のモデルに比べて自然(未成熟)の例では正確でないモデルをもたらす傾向にある。 これは、アルゴリズムの欠点か、トレーニングデータ分散の基本的な性質によるものとみなすことができる。 本研究では,二進ガウス混合分類問題の下で後者のケースに焦点をあてる。
  論文  参考訳（メタデータ） (2021-07-01T06:57:50Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Robustifying Binary Classification to Adversarial Perturbation [45.347651499585055]
  本稿では,対向摂動を伴う二分分類の問題について考察する。 データを操作する際の敵の力を考慮に入れたマックスマージン分類器に一般化を導入する。 損失関数に関するいくつかの軽微な仮定の下では、勾配降下がその方向のRM分類器に収束することを理論的に示す。
  論文  参考訳（メタデータ） (2020-10-29T07:20:37Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Information-theoretic analysis for transfer learning [5.081241420920605]
  本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。 我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
  論文  参考訳（メタデータ） (2020-05-18T13:23:20Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。