論文の概要: Identifying and Understanding Cross-Class Features in Adversarial Training

• arxiv url: http://arxiv.org/abs/2506.05032v1
• Date: Thu, 05 Jun 2025 13:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.735054
• Title: Identifying and Understanding Cross-Class Features in Adversarial Training
• Title（参考訳）: 対人訓練におけるクロスクラス特徴の同定と理解
• Authors: Zeming Wei, Yiwen Guo, Yisen Wang,
• Abstract要約: 逆行訓練(AT)は、ディープニューラルネットワークを敵の攻撃に対して堅牢にするための最も効果的な方法の1つと考えられている。 我々は、クラスワイド特徴属性のレンズによるATの研究について、新しい視点を提示する。
• 参考スコア（独自算出の注目度）: 40.939746601347785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) has been considered one of the most effective methods for making deep neural networks robust against adversarial attacks, while the training mechanisms and dynamics of AT remain open research problems. In this paper, we present a novel perspective on studying AT through the lens of class-wise feature attribution. Specifically, we identify the impact of a key family of features on AT that are shared by multiple classes, which we call cross-class features. These features are typically useful for robust classification, which we offer theoretical evidence to illustrate through a synthetic data model. Through systematic studies across multiple model architectures and settings, we find that during the initial stage of AT, the model tends to learn more cross-class features until the best robustness checkpoint. As AT further squeezes the training robust loss and causes robust overfitting, the model tends to make decisions based on more class-specific features. Based on these discoveries, we further provide a unified view of two existing properties of AT, including the advantage of soft-label training and robust overfitting. Overall, these insights refine the current understanding of AT mechanisms and provide new perspectives on studying them. Our code is available at https://github.com/PKU-ML/Cross-Class-Features-AT.
• Abstract（参考訳）: 逆行訓練(AT)は、深いニューラルネットワークを敵の攻撃に対して堅牢にするための最も効果的な方法の1つと考えられてきた。 本稿では,クラスワイド特徴属性のレンズによるAT研究の新たな視点について述べる。 具体的には、複数のクラスで共有されるATに重要な機能群が与える影響を特定し、それをクロスクラス機能と呼ぶ。 これらの特徴は、典型的にはロバストな分類に有用であり、合成データモデルを通して説明するための理論的証拠を提供する。 複数のモデルアーキテクチャや設定の体系的な研究を通じて、ATの初期段階では、最高の堅牢性チェックポイントまで、よりクロスクラスな特徴を学習する傾向にあることがわかった。 ATはトレーニングのロバストな損失をさらに抑制し、ロバストなオーバーフィッティングを引き起こすため、モデルはより多くのクラス固有の機能に基づいて決定をする傾向にある。 これらの発見に基づいて、ソフトラベルトレーニングと頑健なオーバーフィッティングの利点を含む、ATの既存の2つの特性の統一的なビューを提供する。 全体として、これらの洞察はATメカニズムの現在の理解を洗練させ、研究の新たな視点を提供する。 私たちのコードはhttps://github.com/PKU-ML/Cross-Class-Features-ATで利用可能です。

関連論文リスト

• Shortcut Learning Susceptibility in Vision Classifiers [3.004632712148892]
  ショートカット学習は、機械学習モデルが意味のある特徴をキャプチャする代わりに、データの急激な相関を利用する場所である。 この現象は、視覚、自然言語処理、音声認識など、さまざまな機械学習アプリケーションで広く利用されている。 クラスラベルと位置相関するデータセットに意図的にショートカットを導入することで,これらのアーキテクチャを体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-13T10:25:52Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Salient Feature Extractor for Adversarial Defense on Deep Neural Networks [2.993911699314388]
  モデルによって元のデータセットから学習された非可燃性特徴による逆転例の観察を動機として,salient feature (SF) と trivial feature (TF) の概念を提案する。 敵の攻撃から守るために, サルエント特徴抽出器 (SFE) という新しい検出・防御手法を考案した。
  論文  参考訳（メタデータ） (2021-05-14T12:56:06Z)
• ConCAD: Contrastive Learning-based Cross Attention for Sleep Apnea Detection [16.938983046369263]
  睡眠時無呼吸検出のための学習型クロスアテンションフレームワーク(ConCAD)を提案する。 提案フレームワークは,標準ディープラーニングモデルに容易に統合でき,専門家の知識とコントラスト学習を活用し,パフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2021-05-07T02:38:56Z)
• Symbiotic Adversarial Learning for Attribute-based Person Search [86.7506832053208]
  本稿では,共生学習の枠組みとして,共生学習の基盤に2つのGANを配置する。 具体的には、2種類の生成的敵ネットワークがトレーニングプロセスを通して協調的に学習する。
  論文  参考訳（メタデータ） (2020-07-19T07:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。