論文の概要: Building Robust Ensembles via Margin Boosting

• arxiv url: http://arxiv.org/abs/2206.03362v1
• Date: Tue, 7 Jun 2022 14:55:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:53:07.791344
• Title: Building Robust Ensembles via Margin Boosting
• Title（参考訳）: Margin Boostingによるロバストなアンサンブルの構築
• Authors: Dinghuai Zhang, Hongyang Zhang, Aaron Courville, Yoshua Bengio, Pradeep Ravikumar, Arun Sai Suggala
• Abstract要約: 敵のロバスト性においては、単一のモデルは通常、全ての敵の攻撃に対して十分な力を持っていない。 我々は最大利得のアンサンブルを学習するアルゴリズムを開発した。 提案アルゴリズムは,既存のアンサンブル技術に勝るだけでなく,エンド・ツー・エンドで訓練された大規模モデルにも勝ることを示す。
• 参考スコア（独自算出の注目度）: 98.56381714748096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of adversarial robustness, a single model does not usually have enough power to defend against all possible adversarial attacks, and as a result, has sub-optimal robustness. Consequently, an emerging line of work has focused on learning an ensemble of neural networks to defend against adversarial attacks. In this work, we take a principled approach towards building robust ensembles. We view this problem from the perspective of margin-boosting and develop an algorithm for learning an ensemble with maximum margin. Through extensive empirical evaluation on benchmark datasets, we show that our algorithm not only outperforms existing ensembling techniques, but also large models trained in an end-to-end fashion. An important byproduct of our work is a margin-maximizing cross-entropy (MCE) loss, which is a better alternative to the standard cross-entropy (CE) loss. Empirically, we show that replacing the CE loss in state-of-the-art adversarial training techniques with our MCE loss leads to significant performance improvement.
• Abstract（参考訳）: 敵対的ロバストネスの文脈では、単一のモデルは、通常、すべての敵の攻撃に対して防御するのに十分な力を持っておらず、その結果、準最適ロバスト性を持つ。 その結果、新たな研究は、敵の攻撃から守るためにニューラルネットワークのアンサンブルを学ぶことに重点を置いている。 本研究では,ロバストアンサンブル構築に向けた原則的アプローチを採る。 我々は、この問題をマージンブースティングの観点から捉え、最大マージンを持つアンサンブルを学習するためのアルゴリズムを開発する。 ベンチマークデータセットの広範囲な経験的評価を通じて,本アルゴリズムが既存のセンシング手法を上回っているだけでなく,エンドツーエンドでトレーニングされた大規模モデルよりも優れていることを示す。 我々の研究の重要な副産物は、マージン最大クロスエントロピー(MCE)損失であり、これは標準クロスエントロピー(CE)損失のより良い代替品である。 実験により, 最先端の対人訓練技術におけるCE損失をMCE損失に置き換えることで, 高い性能向上が得られた。

関連論文リスト

• On the KL-Divergence-based Robust Satisficing Model [2.425685918104288]
  頑丈さを満足させる枠組みは 学界から注目を集めています 本稿では,解析的解釈,多様な性能保証,効率的で安定した数値法,収束解析,階層型データ構造に適した拡張について述べる。 我々は、最先端のベンチマークと比較して、モデルの性能が優れていることを実証する。
  論文  参考訳（メタデータ） (2024-08-17T10:05:05Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Boosting Adversarial Robustness From The Perspective of Effective Margin Regularization [58.641705224371876]
  ディープニューラルネットワーク(DNN)の敵対的脆弱性は、ここ数年で積極的に研究されている。 本稿では,クロスエントロピー損失のスケール変動特性について検討する。 提案した有効マージン正則化(EMR)は,大きな有効マージンを学習し,標準トレーニングと対向トレーニングの両方において対向的ロバスト性を高めることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:16:56Z)
• Alleviating Robust Overfitting of Adversarial Training With Consistency Regularization [9.686724616328874]
  対戦訓練(AT)は、ディープニューラルネットワーク(DNN)を敵の攻撃から守る最も効果的な方法の1つであることが証明されている。 強靭性は特定の段階で急激に低下し、常にATの間に存在する。 半教師付き学習の一般的なテクニックである一貫性の正規化は、ATと同じような目標を持ち、堅牢なオーバーフィッティングを軽減するために使用できる。
  論文  参考訳（メタデータ） (2022-05-24T03:18:43Z)
• On the Convergence and Robustness of Adversarial Training [134.25999006326916]
  Project Gradient Decent (PGD) によるアドリアリトレーニングが最も効果的である。 生成した逆数例の収束性を向上させるためのテクトダイナミックトレーニング戦略を提案する。 その結果,提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2021-12-15T17:54:08Z)
• Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch [60.23815709215807]
  本研究では,逆強化学習(IRL)問題について,専門家と学習者間の遷移力学ミスマッチの下で検討する。 本稿では,このミスマッチを支援するための基本手法として,ロバストなMCE IRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-02T14:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。