論文の概要: Adaptive Verifiable Training Using Pairwise Class Similarity

• arxiv url: http://arxiv.org/abs/2012.07887v1
• Date: Mon, 14 Dec 2020 19:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-08 14:23:19.969085
• Title: Adaptive Verifiable Training Using Pairwise Class Similarity
• Title（参考訳）: ペアワイズクラス類似性を用いた適応検証訓練
• Authors: Shiqi Wang, Kevin Eykholt, Taesung Lee, Jiyong Jang, and Ian Molloy
• Abstract要約: 検証可能なトレーニングは、特定のノイズに対して確実に堅牢なニューラルネットワークの作成に成功しています。 しかしながら、単一のロバスト性基準を強制するにも関わらず、そのパフォーマンスはデータセットの複雑さに乏しい。 クラス間の類似性を利用して検証可能なトレーニングのパフォーマンスを向上させる新しいアプローチを提案します。
• 参考スコア（独自算出の注目度）: 17.89932271240133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verifiable training has shown success in creating neural networks that are provably robust to a given amount of noise. However, despite only enforcing a single robustness criterion, its performance scales poorly with dataset complexity. On CIFAR10, a non-robust LeNet model has a 21.63% error rate, while a model created using verifiable training and a L-infinity robustness criterion of 8/255, has an error rate of 57.10%. Upon examination, we find that when labeling visually similar classes, the model's error rate is as high as 61.65%. We attribute the loss in performance to inter-class similarity. Similar classes (i.e., close in the feature space) increase the difficulty of learning a robust model. While it's desirable to train a robust model for a large robustness region, pairwise class similarities limit the potential gains. Also, consideration must be made regarding the relative cost of mistaking similar classes. In security or safety critical tasks, similar classes are likely to belong to the same group, and thus are equally sensitive. In this work, we propose a new approach that utilizes inter-class similarity to improve the performance of verifiable training and create robust models with respect to multiple adversarial criteria. First, we use agglomerate clustering to group similar classes and assign robustness criteria based on the similarity between clusters. Next, we propose two methods to apply our approach: (1) Inter-Group Robustness Prioritization, which uses a custom loss term to create a single model with multiple robustness guarantees and (2) neural decision trees, which trains multiple sub-classifiers with different robustness guarantees and combines them in a decision tree architecture. On Fashion-MNIST and CIFAR10, our approach improves clean performance by 9.63% and 30.89% respectively. On CIFAR100, our approach improves clean performance by 26.32%.
• Abstract（参考訳）: 検証可能なトレーニングは、特定のノイズに対して確実に堅牢なニューラルネットワークの作成に成功しています。 しかしながら、単一のロバスト性基準のみを強制するが、そのパフォーマンスはデータセットの複雑さに乏しい。 CIFAR10では、非ロバストLeNetモデルは21.63%のエラー率を持ち、検証可能なトレーニングとL-無限性ロバスト性基準8/255で作成されたモデルは57.10%のエラー率を持つ。 検討した結果,視覚的に類似したクラスをラベル付けする場合,モデルの誤差率は61.65%に達することがわかった。 性能の低下はクラス間の類似性に起因する。 同様のクラス(すなわち、特徴空間に近く)は、堅牢なモデルを学ぶことの難しさを増大させる。 大きなロバスト性領域のためにロバストモデルをトレーニングすることが望ましいが、ペアワイズクラスの類似性は潜在的な利益を制限する。 また、類似クラスを誤用する相対コストについても考慮する必要がある。 セキュリティやセーフティクリティカルなタスクでは、同様のクラスが同じグループに属しているため、同様にセンシティブである。 本研究では,クラス間類似性を利用して検証可能なトレーニングの性能を改善し,複数の敵の基準に対して頑健なモデルを作成する新しい手法を提案する。 まず,クラスタ間の類似性に基づいたロバスト性基準を割り当てるために,凝集型クラスタリングを用いた。 次に,(1)グループ間ロバスト性優先化(Inter-Group Robustness Prioritization, カスタム損失項を用いて複数のロバスト性保証を持つ単一モデルを生成する),(2)ニューラル決定木(Neural decision tree, 複数サブクラス保証を異なるロバスト性保証で訓練し,それらを決定木アーキテクチャに組み合わせる)を提案する。 Fashion-MNIST と CIFAR10 では,クリーン性能を 9.63% と 30.89% で改善する。 CIFAR100では,クリーンパフォーマンスを26.32%向上させる。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics [4.220363193932374]
  効率的なコサイン類似度に基づく分類困難度尺度Sを提案する。 データセットのクラス数とクラス内およびクラス間の類似度メトリクスから計算される。 この手法を実践者が、繰り返しトレーニングやテストによって、6倍から29倍の速度で効率の良いモデルを選択するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-04-09T03:27:09Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Enhancing Robust Representation in Adversarial Training: Alignment and Exclusion Criteria [61.048842737581865]
  対人訓練 (AT) は, 頑健な特徴の学習を省略し, 対人的頑健さの低下を招いた。 非対称な負のコントラストと逆の注意によって、頑健な表現を得るためのATの一般的なフレームワークを提案する。 3つのベンチマークデータセットの実証評価により,ATの堅牢性を大幅に向上し,最先端の性能を実現することができた。
  論文  参考訳（メタデータ） (2023-10-05T07:29:29Z)
• K-means Clustering Based Feature Consistency Alignment for Label-free Model Evaluation [12.295565506212844]
  本稿では,CVPR 2023における第1回DataCV Challenge of the Visual Understandingデータセットワークショップのソリューションについて述べる。 まず,K-means Clustering Based Feature Consistency Alignment (KCFCA) という手法を提案する。 第2に,分布の変化とモデル精度の関係を捉える動的回帰モデルを開発する。 第三に、外乱モデル因子を発見し、外乱モデルを排除するアルゴリズムを設計し、複数のオートエスバルモデルの強みを組み合わせる。
  論文  参考訳（メタデータ） (2023-04-17T06:33:30Z)
• Robustness Evaluation and Adversarial Training of an Instance Segmentation Model [0.0]
  確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。 確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。
  論文  参考訳（メタデータ） (2022-06-02T02:18:09Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)
• Beyond cross-entropy: learning highly separable feature distributions for robust and accurate classification [22.806324361016863]
  本稿では, 対角的ロバスト性を提供する, ディープロバストなマルチクラス分類器を訓練するための新しい手法を提案する。 提案手法に基づく潜在空間の正則化は,優れた分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-29T11:15:17Z)
• To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
  逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。 本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-13T02:21:54Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。