Fugu-MT 論文翻訳(概要): Two Heads are Better than One: Robust Learning Meets Multi-branch Models

論文の概要: Two Heads are Better than One: Robust Learning Meets Multi-branch Models

arxiv url: http://arxiv.org/abs/2208.08083v2
Date: Mon, 04 Aug 2025 11:04:00 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-07 15:43:07.212255
Title: Two Heads are Better than One: Robust Learning Meets Multi-branch Models
Title（参考訳）: 2つの頭は1より優れている:ロバスト学習はマルチブランチモデルと出会う
Authors: Zongyuan Zhang, Qingwen Bu, Tianyang Duan, Zheng Lin, Yuhao Qing, Zihan Fang, Heming Cui, Dong Huang,
Abstract要約: 信頼性が高く効果的な防御方法である敵の訓練は、ニューラルネットワークの脆弱性を著しく減少させる可能性がある。対人訓練のための最初のデータセットのみを用いて、最先端のパフォーマンスを得るために、textitBranch Orthogonality adveRsarial Training (BORT)を提案する。 CIFAR-10 と CIFAR-100 と SVHN に対するアプローチを,それぞれ $ell_infty$ と $epsilon = 8/255$ のノルム有界摂動に対して評価した。
参考スコア（独自算出の注目度）: 9.748686016224102
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep neural networks (DNNs) are vulnerable to adversarial examples, in which DNNs are misled to false outputs due to inputs containing imperceptible perturbations. Adversarial training, a reliable and effective method of defense, may significantly reduce the vulnerability of neural networks and becomes the de facto standard for robust learning. While many recent works practice the data-centric philosophy, such as how to generate better adversarial examples or use generative models to produce additional training data, we look back to the models themselves and revisit the adversarial robustness from the perspective of deep feature distribution as an insightful complementarity. In this paper, we propose \textit{Branch Orthogonality adveRsarial Training} (BORT) to obtain state-of-the-art performance with solely the original dataset for adversarial training. To practice our design idea of integrating multiple orthogonal solution spaces, we leverage a simple and straightforward multi-branch neural network that eclipses adversarial attacks with no increase in inference time. We heuristically propose a corresponding loss function, branch-orthogonal loss, to make each solution space of the multi-branch model orthogonal. We evaluate our approach on CIFAR-10, CIFAR-100 and SVHN against $\ell_{\infty}$ norm-bounded perturbations of size $\epsilon = 8/255$, respectively. Exhaustive experiments are conducted to show that our method goes beyond all state-of-the-art methods without any tricks. Compared to all methods that do not use additional data for training, our models achieve 67.3\% and 41.5\% robust accuracy on CIFAR-10 and CIFAR-100 (improving upon the state-of-the-art by +7.23\% and +9.07\%). We also outperform methods using a training set with a far larger scale than ours.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は敵の例に対して脆弱であり、DNNは知覚不能な摂動を含む入力によって誤った出力と誤認される。信頼性が高く効果的な防御方法である敵の訓練は、ニューラルネットワークの脆弱性を著しく減らし、堅牢な学習のデファクトスタンダードとなる。近年の多くの研究がデータ中心の哲学を実践している。例えば、より良い敵の例を生成する方法や、新たなトレーニングデータを生成するために生成モデルを使用する方法などだが、我々はモデル自体を振り返り、深い特徴分布の観点からの敵のロバスト性を洞察に富んだ相補性として再考する。本稿では, 対人訓練のための元となるデータセットのみを用いて, 最先端のパフォーマンスを得るために, BORT (textit{Branch Orthogonality adveRsarial Training}) を提案する。複数の直交解空間を統合するという設計思想を実践するために、推論時間を増やすことなく敵攻撃を消耗させる、単純で簡単なマルチブランチニューラルネットワークを利用する。マルチブランチモデルの各解空間を直交にするために,対応する損失関数である分岐直交損失をヒューリスティックに提案する。我々は, CIFAR-10, CIFAR-100, SVHNに対して, $\ell_{\infty}= 標準有界摂動をそれぞれ$\epsilon = 8/255$と評価した。実験により,我々の手法はトリックを伴わずにすべての最先端手法を超えることを示す。 CIFAR-10とCIFAR-100では、トレーニングに追加データを使用しないすべての方法と比較して、67.3\%と41.5\%の堅牢な精度を実現している(+7.23\%と+9.07\%の最先端化)。また、我々のものよりもはるかに大きな規模でトレーニングセットを使用することで、メソッドのパフォーマンスも向上した。

関連論文リスト

MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。本稿では,多目的特徴表現学習手法であるMORELを提案する。
論文参考訳（メタデータ） (2024-10-02T16:05:03Z)
Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense [27.545466364906773]
敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
論文参考訳（メタデータ） (2022-12-05T03:26:08Z)
Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
論文参考訳（メタデータ） (2022-11-22T04:54:20Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文参考訳（メタデータ） (2022-05-24T15:17:52Z)
Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文参考訳（メタデータ） (2022-03-18T01:12:18Z)
Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文参考訳（メタデータ） (2022-02-20T15:52:08Z)
Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文参考訳（メタデータ） (2021-06-18T01:03:13Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
Self-Progressing Robust Training [146.8337017922058]
敵対的なトレーニングのような現在の堅牢なトレーニング方法は、敵対的な例を生成するために「攻撃」を明示的に使用します。我々はSPROUTと呼ばれる自己プログレッシブ・ロバスト・トレーニングのための新しいフレームワークを提案する。その結果,スケーラブルで効果的で攻撃に依存しないロバストなトレーニング手法に新たな光を当てた。
論文参考訳（メタデータ） (2020-12-22T00:45:24Z)
To be Robust or to be Fair: Towards Fairness in Adversarial Training [83.42241071662897]
逆行訓練アルゴリズムは、異なるデータ群間の精度と堅牢性に深刻な違いをもたらす傾向がある。本稿では、敵防衛を行う際の不公平問題を軽減するためのFair-Robust-Learning(FRL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-10-13T02:21:54Z)
Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
論文参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。