論文の概要: Intriguing Properties of Robust Classification

• arxiv url: http://arxiv.org/abs/2412.04245v1
• Date: Thu, 05 Dec 2024 15:27:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:37.937189
• Title: Intriguing Properties of Robust Classification
• Title（参考訳）: ロバスト分類の興味深い性質
• Authors: Bernd Prach, Christoph H. Lampert,
• Abstract要約: 非現実的な大量のデータでのみ、ロバストな一般化が可能であることを示す。 CIFAR-10のようなデータセット上で,ロバストな分類器がいかに一般化するかを考察する。
• 参考スコア（独自算出の注目度）: 19.858602457988194
• License:
• Abstract: Despite extensive research since the community learned about adversarial examples 10 years ago, we still do not know how to train high-accuracy classifiers that are guaranteed to be robust to small perturbations of their inputs. Previous works often argued that this might be because no classifier exists that is robust and accurate at the same time. However, in computer vision this assumption does not match reality where humans are usually accurate and robust on most tasks of interest. We offer an alternative explanation and show that in certain settings robust generalization is only possible with unrealistically large amounts of data. More precisely we find a setting where a robust classifier exists, it is easy to learn an accurate classifier, yet it requires an exponential amount of data to learn a robust classifier. Based on this theoretical result, we explore how well robust classifiers generalize on datasets such as CIFAR-10. We come to the conclusion that on this datasets, the limitation of current robust models also lies in the generalization, and that they require a lot of data to do well on the test set. We also show that the problem is not in the expressiveness or generalization capabilities of current architectures, and that there are low magnitude features in the data which are useful for non-robust generalization but are not available for robust classifiers.
• Abstract（参考訳）: 10年前にコミュニティが敵の例について学んで以来、広範囲にわたる研究が続けられてきたが、それでも、その入力の小さな摂動に対して堅牢であることが保証される高精度な分類器の訓練方法が分かっていない。 以前の研究はしばしば、これは同時に堅牢で正確である分類器が存在しないためかもしれないと論じていた。 しかし、コンピュータビジョンでは、この仮定は人間が通常興味のあるほとんどのタスクにおいて正確で堅牢である現実と一致しない。 我々は、別の説明を提供し、ある設定において、ロバストな一般化は非現実的に大量のデータでのみ可能であることを示す。 より正確には、ロバストな分類器が存在する場合、正確な分類器を学ぶことは容易であるが、ロバストな分類器を学ぶには指数的な量のデータを必要とする。 この理論的な結果に基づき、CIFAR-10のようなデータセットに基づいて、ロバストな分類器がいかに一般化するかを考察する。 このデータセットでは、現在の堅牢なモデルの制限も一般化に関係しており、テストセットでうまく機能するためには大量のデータが必要である、という結論に達したのです。 また、現在のアーキテクチャの表現性や一般化能力には問題がなく、ロバストな一般化には有用だがロバストな分類器では利用できないような低等級の特徴があることも示している。

関連論文リスト

• Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
  対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。 我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。 従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
  論文  参考訳（メタデータ） (2023-07-26T01:10:29Z)
• Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker [57.49330031751386]
  我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。 本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-21T15:17:13Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information [25.739240011015923]
  属性分類器のテスト精度は下流モデルにおけるバイアス推定の有効性と常に相関しているとは限らない。 我々の分析は,属性分類器の誤りを可能な限り不均一に分配したいという状況において,意外かつ直感的な意味を持っている。
  論文  参考訳（メタデータ） (2021-02-16T19:02:55Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Dynamic Decision Boundary for One-class Classifiers applied to non-uniformly Sampled Data [0.9569316316728905]
  パターン認識の典型的な問題は、一様でないサンプルデータである。 本稿では,動的決定境界を持つ最小スパンニング木に基づく一クラス分類器を提案する。
  論文  参考訳（メタデータ） (2020-04-05T18:29:36Z)
• When are Non-Parametric Methods Robust? [30.56004276586835]
  一般的な非パラメトリックな手法について検討し、これらの修正に頑健な場合の理解をめざして検討する。 我々は、非パラメトリックな方法が r-一貫性を持つ一般的な条件を確立する。
  論文  参考訳（メタデータ） (2020-03-13T05:23:53Z)
• A Bayes-Optimal View on Adversarial Examples [9.51828574518325]
  ベイズ最適分類の観点から, 対立例を考察する。 これらの「金の標準」最適分類器が堅牢である場合でも、同じデータセットでトレーニングされたCNNは、常に脆弱な分類器を学習する。
  論文  参考訳（メタデータ） (2020-02-20T16:43:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。