論文の概要: Intriguing Properties of Robust Classification

• arxiv url: http://arxiv.org/abs/2412.04245v2
• Date: Thu, 17 Jul 2025 09:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 15:53:04.378916
• Title: Intriguing Properties of Robust Classification
• Title（参考訳）: ロバスト分類の興味深い性質
• Authors: Bernd Prach, Christoph H. Lampert,
• Abstract要約: 非現実的な大量のデータでのみ、ロバストな一般化が可能であることを示す。 以上の結果から,トレーニングデータの量が,ロバストなパフォーマンスを決定する主要な要因であることが示唆された。
• 参考スコア（独自算出の注目度）: 19.858602457988194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite extensive research since the community learned about adversarial examples 10 years ago, we still do not know how to train high-accuracy classifiers that are guaranteed to be robust to small perturbations of their inputs. Previous works often argued that this might be because no classifier exists that is robust and accurate at the same time. However, in computer vision this assumption does not match reality where humans are usually accurate and robust on most tasks of interest. We offer an alternative explanation and show that in certain settings robust generalization is only possible with unrealistically large amounts of data. Specifically, we find a setting where a robust classifier exists, it is easy to learn an accurate classifier, yet it requires an exponential amount of data to learn a robust classifier. Based on this theoretical result, we evaluate the influence of the amount of training data on datasets such as CIFAR-10. Our findings indicate that the amount of training data is the main factor determining the robust performance. Furthermore we show that there are low magnitude directions in the data which are useful for non-robust generalization but are not available for robust classifiers. We provide code at https://github.com/berndprach/IntriguingProperties.
• Abstract（参考訳）: 10年前にコミュニティが敵の例について学んで以来、広範囲にわたる研究が続けられてきたが、それでも、その入力の小さな摂動に対して堅牢であることが保証される高精度な分類器の訓練方法が分かっていない。 以前の研究はしばしば、これは同時に堅牢で正確である分類器が存在しないためかもしれないと論じていた。 しかし、コンピュータビジョンでは、この仮定は人間が通常興味のあるほとんどのタスクにおいて正確で堅牢である現実と一致しない。 我々は、別の説明を提供し、ある設定において、ロバストな一般化は非現実的に大量のデータでのみ可能であることを示す。 具体的には、ロバストな分類器が存在する場合、正確な分類器を学習するのは容易であるが、ロバストな分類器を学習するには指数的な量のデータが必要である。 この理論的結果に基づいて,CIFAR-10などのデータセットに対するトレーニングデータの量の影響を評価する。 以上の結果から,トレーニングデータの量が,ロバストなパフォーマンスを決定する主要な要因であることが示唆された。 さらに、ロバストな一般化には有用であるが、ロバストな分類器では利用できないデータには、低等級方向が存在することを示す。 私たちはhttps://github.com/berndprach/IntriguingProperties.comでコードを提供しています。

関連論文リスト

• Gentle Local Robustness implies Generalization [1.2630732866686982]
  モデルに依存し、既存のロバスト性に基づくものよりも確実に厳密な、新しい境界のクラスを提示する。 以前のものとは異なり、我々の境界はサンプルの数が増えるにつれて最良の分類器の真の誤差に収束することが保証される。 我々はさらに広範な実験を行い、ImageNetから事前訓練された大規模なディープニューラルネットワークでは、2つの境界がしばしば空白でないことを発見した。
  論文  参考訳（メタデータ） (2024-12-09T10:59:39Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
  対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。 我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。 従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
  論文  参考訳（メタデータ） (2023-07-26T01:10:29Z)
• Characterizing the Optimal 0-1 Loss for Multi-class Classification with a Test-time Attacker [57.49330031751386]
  我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。 本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-21T15:17:13Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• Utilizing Class Separation Distance for the Evaluation of Corruption Robustness of Machine Learning Classifiers [0.6882042556551611]
  本稿では,最小クラス分離距離のデータセットから得られるロバストネス距離$epsilon$を使用するテストデータ拡張手法を提案する。 結果として得られるMSCRメトリックは、その破損の堅牢性に関して異なる分類器のデータセット固有の比較を可能にする。 以上の結果から, 単純なデータ拡張によるロバストネストレーニングにより, 精度が若干向上することが示唆された。
  論文  参考訳（メタデータ） (2022-06-27T15:56:16Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information [25.739240011015923]
  属性分類器のテスト精度は下流モデルにおけるバイアス推定の有効性と常に相関しているとは限らない。 我々の分析は,属性分類器の誤りを可能な限り不均一に分配したいという状況において,意外かつ直感的な意味を持っている。
  論文  参考訳（メタデータ） (2021-02-16T19:02:55Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals [8.827892752465958]
  自動生成された反実データを用いてトレーニングデータを増強し、堅牢なテキスト分類器のトレーニングを提案する。 因果的特徴を強調し,非因果的特徴を強調することで,ロバスト分類器は有意義で信頼性の高い予測を行うことを示す。
  論文  参考訳（メタデータ） (2020-12-18T03:57:32Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• FIND: Human-in-the-Loop Debugging Deep Text Classifiers [55.135620983922564]
  隠れた機能を無効にすることで、人間がディープラーニングテキスト分類器をデバッグできるフレームワークであるFINDを提案する。 実験により、人間はFINDを使用することで、異なる種類の不完全なデータセットの下で訓練されたCNNテキスト分類器を改善することができる。
  論文  参考訳（メタデータ） (2020-10-10T12:52:53Z)
• Initial Classifier Weights Replay for Memoryless Class Incremental Learning [11.230170401360633]
  インクリメンタルラーニング(IL)は、人工システムがデータのストリームを扱う必要があり、常にすべてのデータにアクセスできない場合に有用である。 バニラ微調整バックボーンに基づく別のアプローチを提案する。 我々は、メモリレスインクリメンタルな学習環境で、4つの公開データセットで徹底的な評価を行う。
  論文  参考訳（メタデータ） (2020-08-31T16:18:12Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Dynamic Decision Boundary for One-class Classifiers applied to non-uniformly Sampled Data [0.9569316316728905]
  パターン認識の典型的な問題は、一様でないサンプルデータである。 本稿では,動的決定境界を持つ最小スパンニング木に基づく一クラス分類器を提案する。
  論文  参考訳（メタデータ） (2020-04-05T18:29:36Z)
• When are Non-Parametric Methods Robust? [30.56004276586835]
  一般的な非パラメトリックな手法について検討し、これらの修正に頑健な場合の理解をめざして検討する。 我々は、非パラメトリックな方法が r-一貫性を持つ一般的な条件を確立する。
  論文  参考訳（メタデータ） (2020-03-13T05:23:53Z)
• A Bayes-Optimal View on Adversarial Examples [9.51828574518325]
  ベイズ最適分類の観点から, 対立例を考察する。 これらの「金の標準」最適分類器が堅牢である場合でも、同じデータセットでトレーニングされたCNNは、常に脆弱な分類器を学習する。
  論文  参考訳（メタデータ） (2020-02-20T16:43:47Z)
• Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning [59.65752299209042]
  このようなシナリオ下でのConvNetの学習について検討する。 私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。 クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
  論文  参考訳（メタデータ） (2020-01-06T03:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。