論文の概要: Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression

• arxiv url: http://arxiv.org/abs/2102.02950v1
• Date: Fri, 5 Feb 2021 01:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 14:52:44.870818
• Title: Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
• Title（参考訳）: 対数回帰における減量環境の高度化と逆行訓練
• Authors: Masanori Yamada, Sekitoshi Kanai, Tomoharu Iwata, Tomokatsu Takahashi, Yuki Yamanaka, Hiroshi Takahashi, Atsutoshi Kumagai
• Abstract要約: 敵の例に対して頑健なモデルを学習するために、敵の訓練が活発に研究されている。 最近の研究では、逆向きに訓練されたモデルが、減量風景が鋭い場合、逆向きの例で性能を劣化させることがわかった。 この現象を理論的に解析する。
• 参考スコア（独自算出の注目度）: 45.34758512755516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training is actively studied for learning robust models against adversarial examples. A recent study finds that adversarially trained models degenerate generalization performance on adversarial examples when their weight loss landscape, which is loss changes with respect to weights, is sharp. Unfortunately, it has been experimentally shown that adversarial training sharpens the weight loss landscape, but this phenomenon has not been theoretically clarified. Therefore, we theoretically analyze this phenomenon in this paper. As a first step, this paper proves that adversarial training with the L2 norm constraints sharpens the weight loss landscape in the linear logistic regression model. Our analysis reveals that the sharpness of the weight loss landscape is caused by the noise aligned in the direction of increasing the loss, which is used in adversarial training. We theoretically and experimentally confirm that the weight loss landscape becomes sharper as the magnitude of the noise of adversarial training increases in the linear logistic regression model. Moreover, we experimentally confirm the same phenomena in ResNet18 with softmax as a more general case.
• Abstract（参考訳）: 対人訓練は、対人例に対する堅牢なモデルを学ぶために積極的に研究されている。 最近の研究では、敵対的訓練を受けたモデルが、重量に対する損失変化である減量ランドスケープが鋭い場合、敵対的例で一般化性能を低下させることが示されている。 残念なことに、逆行訓練は体重減少の風景を鋭くすることを示したが、この現象は理論的には解明されていない。 そこで本稿では,この現象を理論的に解析する。 第1ステップとして,L2ノルム制約による対向的トレーニングが線形ロジスティック回帰モデルにおける重量損失のランドスケープを鋭くすることを示す。 分析の結果, 減量環境の鋭さは, 対向訓練で使用される減量方向に整列した騒音が原因であることが明らかとなった。 線形ロジスティック回帰モデルにおいて, 対比訓練の騒音の大きさが増大するにつれて, 減量景観がシャープになることを理論的および実験的に確認した。 さらに、より一般的なケースとしてsoftmaxでResNet18で同じ現象を実験的に確認します。

関連論文リスト

• The Epochal Sawtooth Effect: Unveiling Training Loss Oscillations in Adam and Other Optimizers [8.770864706004472]
  テキストEpochal Sawtooth Effect (ESE) と呼ばれる繰り返し学習損失パターンを特定し解析する。 このパターンは、各エポックの始めに急激な損失が減少し、その後徐々に増加し、ソートゥース状の損失曲線が生じる。 Epochal Sawtooth 効果に繋がるメカニズムの詳細な説明を提供する。
  論文  参考訳（メタデータ） (2024-10-14T00:51:21Z)
• Improving Fast Adversarial Training Paradigm: An Example Taxonomy Perspective [61.38753850236804]
  高速対人訓練 (FAT) は, 効率的な訓練を行うために提案され, 熱い研究課題となっている。 FATは破滅的なオーバーフィッティングに悩まされ、多段階の逆行訓練と比較してパフォーマンスが低下する。 本稿では, FATにおける内的最適化と外的最適化のバランスが不均衡であることから, 破滅的なオーバーフィッティングが原因であることが確認された FAT の分類例を示す。
  論文  参考訳（メタデータ） (2024-07-22T03:56:27Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Small-scale proxies for large-scale Transformer training instabilities [69.36381318171338]
  我々は、小規模でトレーニングの安定性と不安定性を再現し、研究する方法を模索する。 学習速度とスケールによる損失の関係を計測することにより,これらの不安定性は,学習率の高いトレーニングにおいて,小さなモデルにも現れることを示す。 ウォームアップ,ウェイト崩壊,および$mu$Paramなどの手法を用いて,学習速度変化の桁数で同様の損失を被る小さなモデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-25T17:48:51Z)
• Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization [5.1024659285813785]
  アドリアリトレーニングは過度に適合する傾向があり、原因は明らかになっていない。 標準的なトレーニング,特にクリーンロスの最小化による,堅牢なオーバーフィッティング結果が得られます。 対向方向に沿った重み付きロジット変動をペナル化することにより、損失景観の平滑化を図るための新しい正規化器を提案する。
  論文  参考訳（メタデータ） (2022-12-09T16:55:30Z)
• Adversarial Weight Perturbation Helps Robust Generalization [65.68598525492666]
  敵のトレーニングは、敵の例に対するディープニューラルネットワークの堅牢性を改善する最も有望な方法である。 本研究は, 対人訓練において, 広く使用されている減量景観(重量に対する空間変化)が果たす効果を示す。 本稿では, 重量減少景観の平坦性を明確に調整するための, 単純かつ効果的な対向重み摂動(AWP)を提案する。
  論文  参考訳（メタデータ） (2020-04-13T12:05:01Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。