論文の概要: Adversarial Training Makes Weight Loss Landscape Sharper in Logistic
Regression
- arxiv url: http://arxiv.org/abs/2102.02950v1
- Date: Fri, 5 Feb 2021 01:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 14:52:44.870818
- Title: Adversarial Training Makes Weight Loss Landscape Sharper in Logistic
Regression
- Title(参考訳): 対数回帰における減量環境の高度化と逆行訓練
- Authors: Masanori Yamada, Sekitoshi Kanai, Tomoharu Iwata, Tomokatsu Takahashi,
Yuki Yamanaka, Hiroshi Takahashi, Atsutoshi Kumagai
- Abstract要約: 敵の例に対して頑健なモデルを学習するために、敵の訓練が活発に研究されている。
最近の研究では、逆向きに訓練されたモデルが、減量風景が鋭い場合、逆向きの例で性能を劣化させることがわかった。
この現象を理論的に解析する。
- 参考スコア(独自算出の注目度): 45.34758512755516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training is actively studied for learning robust models against
adversarial examples. A recent study finds that adversarially trained models
degenerate generalization performance on adversarial examples when their weight
loss landscape, which is loss changes with respect to weights, is sharp.
Unfortunately, it has been experimentally shown that adversarial training
sharpens the weight loss landscape, but this phenomenon has not been
theoretically clarified. Therefore, we theoretically analyze this phenomenon in
this paper. As a first step, this paper proves that adversarial training with
the L2 norm constraints sharpens the weight loss landscape in the linear
logistic regression model. Our analysis reveals that the sharpness of the
weight loss landscape is caused by the noise aligned in the direction of
increasing the loss, which is used in adversarial training. We theoretically
and experimentally confirm that the weight loss landscape becomes sharper as
the magnitude of the noise of adversarial training increases in the linear
logistic regression model. Moreover, we experimentally confirm the same
phenomena in ResNet18 with softmax as a more general case.
- Abstract(参考訳): 対人訓練は、対人例に対する堅牢なモデルを学ぶために積極的に研究されている。
最近の研究では、敵対的訓練を受けたモデルが、重量に対する損失変化である減量ランドスケープが鋭い場合、敵対的例で一般化性能を低下させることが示されている。
残念なことに、逆行訓練は体重減少の風景を鋭くすることを示したが、この現象は理論的には解明されていない。
そこで本稿では,この現象を理論的に解析する。
第1ステップとして,L2ノルム制約による対向的トレーニングが線形ロジスティック回帰モデルにおける重量損失のランドスケープを鋭くすることを示す。
分析の結果, 減量環境の鋭さは, 対向訓練で使用される減量方向に整列した騒音が原因であることが明らかとなった。
線形ロジスティック回帰モデルにおいて, 対比訓練の騒音の大きさが増大するにつれて, 減量景観がシャープになることを理論的および実験的に確認した。
さらに、より一般的なケースとしてsoftmaxでResNet18で同じ現象を実験的に確認します。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Small-scale proxies for large-scale Transformer training instabilities [69.36381318171338]
我々は、小規模でトレーニングの安定性と不安定性を再現し、研究する方法を模索する。
学習速度とスケールによる損失の関係を計測することにより,これらの不安定性は,学習率の高いトレーニングにおいて,小さなモデルにも現れることを示す。
ウォームアップ,ウェイト崩壊,および$mu$Paramなどの手法を用いて,学習速度変化の桁数で同様の損失を被る小さなモデルを訓練する。
論文 参考訳(メタデータ) (2023-09-25T17:48:51Z) - Understanding and Combating Robust Overfitting via Input Loss Landscape
Analysis and Regularization [5.1024659285813785]
アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。
標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。
対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
論文 参考訳(メタデータ) (2022-12-09T16:55:30Z) - Robust Weight Perturbation for Adversarial Training [112.57295738113939]
オーバーフィッティングは、ディープネットワークの敵の堅牢なトレーニングにおいて広く存在する。
対向重み摂動は、堅牢な一般化ギャップを減らすのに役立つ。
重量摂動を規制する基準は、敵の訓練に不可欠である。
論文 参考訳(メタデータ) (2022-05-30T03:07:14Z) - Is Importance Weighting Incompatible with Interpolating Classifiers? [13.449501940517699]
重み付けは,ロジスティック損失やクロスエントロピー損失などの指数関数的な損失によって失敗することを示す。
治療として,重み付けされた損失が重み付けの効果を回復することを示す。
驚くべきことに、我々の理論は、古典的不偏重を指数化することによって得られる重みを用いることで、性能が向上することを示している。
論文 参考訳(メタデータ) (2021-12-24T08:06:57Z) - Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。
本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。
本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
論文 参考訳(メタデータ) (2020-04-13T12:05:01Z) - Overfitting in adversarially robust deep learning [86.11788847990783]
トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。
また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
論文 参考訳(メタデータ) (2020-02-26T15:40:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。