論文の概要: Probabilistic Margins for Instance Reweighting in Adversarial Training
- arxiv url: http://arxiv.org/abs/2106.07904v1
- Date: Tue, 15 Jun 2021 06:37:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-16 15:07:41.311007
- Title: Probabilistic Margins for Instance Reweighting in Adversarial Training
- Title（参考訳）: 対向訓練における再重み付けの確率的マージン
- Authors: Qizhou Wang, Feng Liu, Bo Han, Tongliang Liu, Chen Gong, Gang Niu,
Mingyuan Zhou, Masashi Sugiyama
- Abstract要約: 本稿では,3種類の確率的マージン (PM) を提案し, 近さを計測し, 対向データを再重み付けする。
異なるPMは異なる幾何学的性質を捉えるが、3つのPMはいずれもデータの脆弱性と負の相関を持つ。
実験により、PMは信頼性の高い測定であり、PMに基づく再重み付け法は最先端の手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 151.34753039197832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reweighting adversarial data during training has been recently shown to
improve adversarial robustness, where data closer to the current decision
boundaries are regarded as more critical and given larger weights. However,
existing methods measuring the closeness are not very reliable: they are
discrete and can take only a few values, and they are path-dependent, i.e.,
they may change given the same start and end points with different attack
paths. In this paper, we propose three types of probabilistic margin (PM),
which are continuous and path-independent, for measuring the aforementioned
closeness and reweighting adversarial data. Specifically, a PM is defined as
the difference between two estimated class-posterior probabilities, e.g., such
the probability of the true label minus the probability of the most confusing
label given some natural data. Though different PMs capture different geometric
properties, all three PMs share a negative correlation with the vulnerability
of data: data with larger/smaller PMs are safer/riskier and should have
smaller/larger weights. Experiments demonstrate that PMs are reliable
measurements and PM-based reweighting methods outperform state-of-the-art
methods.
- Abstract（参考訳）: トレーニング中の敵データの重み付けは、現在の決定境界に近いデータがより重要で、重み付けが大きいと見なされる、敵のロバスト性を改善することが最近示されている。
それらは離散的であり、数個の値しか取ることができず、経路に依存しており、攻撃経路の異なる同じ開始点と終了点によって変更される可能性がある。
本稿では,上記の近接性の測定と逆データの再重み付けのために,連続的かつ経路非依存な3種類の確率的マージン(pm)を提案する。
具体的には、pmを2つの推定されたクラス後確率の差として定義する(例えば、真のラベルの確率は、ある自然データから与えられた最も紛らわしいラベルの確率を最小にする)。
異なる pm は異なる幾何学的性質を捉えるが、3つの pm はデータの脆弱性と負の相関関係を持つ: より大きい/小さい pm を持つデータはより安全/リスクであり、より小さい/大きい重みを持つべきである。
実験により、PMは信頼性の高い測定であり、PMに基づく再重み付け法は最先端の手法より優れていることが示された。
関連論文リスト
- What Are the Odds? Improving the foundations of Statistical Model Checking [3.789219860006095]
マルコフ決定プロセス(MDP)は不確実性の下での意思決定の基本的なモデルである。
従来の検証アルゴリズムは、MDPの振る舞いを管理する確率の正確な知識を前提としている。
我々はMDPの知識を活用する専門的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-08T11:47:46Z) - Robust Anytime Learning of Markov Decision Processes [8.799182983019557]
データ駆動型アプリケーションでは、限られたデータから正確な確率を導き出すと統計的エラーが発生する。
不確実なMDP(uMDP)は正確な確率を必要としないが、遷移においていわゆる不確実性集合を用いる。
本稿では,ベイズ的推論スキームとロバストポリシーの計算を組み合わせた,頑健な任意の時間学習手法を提案する。
論文 参考訳（メタデータ） (2022-05-31T14:29:55Z) - Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。
実験結果から,これらの手法が直面する課題を分析した。
本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文 参考訳（メタデータ） (2022-03-23T07:33:37Z) - Noise-Resistant Deep Metric Learning with Probabilistic Instance
Filtering [59.286567680389766]
ノイズラベルは現実世界のデータによく見られ、ディープニューラルネットワークの性能劣化を引き起こす。
DMLのための確率的ランク付けに基づくメモリを用いたインスタンス選択(PRISM)手法を提案する。
PRISMはラベルがクリーンである確率を計算し、潜在的にノイズの多いサンプルをフィルタリングする。
論文 参考訳（メタデータ） (2021-08-03T12:15:25Z) - Maximum Mean Discrepancy Test is Aware of Adversarial Attacks [122.51040127438324]
最大平均誤差(MMD)テストは、原則として2つのデータセット間の分布誤差を検出できる。
MMD検査は敵の攻撃に気づいていないことが示されている。
論文 参考訳（メタデータ） (2020-10-22T03:42:12Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z) - Rethink Maximum Mean Discrepancy for Domain Adaptation [77.2560592127872]
本論文は,(1)最大平均距離の最小化は,それぞれソースとクラス内距離の最大化に等しいが,その差を暗黙の重みと共同で最小化し,特徴判別性は低下する,という2つの本質的な事実を理論的に証明する。
いくつかのベンチマークデータセットの実験は、理論的な結果の有効性を証明しただけでなく、我々のアプローチが比較した最先端手法よりも大幅に向上できることを実証した。
論文 参考訳（メタデータ） (2020-07-01T18:25:10Z) - Neural Methods for Point-wise Dependency Estimation [129.93860669802046]
我々は,2つの結果が共起する確率を定量的に測定する点依存度(PD)の推定に焦点をあてる。
提案手法の有効性を,1)MI推定,2)自己教師付き表現学習,3)クロスモーダル検索タスクで示す。
論文 参考訳（メタデータ） (2020-06-09T23:26:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。