論文の概要: Attention-based Adversarial Robust Distillation in Radio Signal Classifications for Low-Power IoT Devices

• arxiv url: http://arxiv.org/abs/2506.11892v1
• Date: Fri, 13 Jun 2025 15:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.85947
• Title: Attention-based Adversarial Robust Distillation in Radio Signal Classifications for Low-Power IoT Devices
• Title（参考訳）: 低消費電力IoTデバイスにおける無線信号分類におけるアテンションに基づく対向ロバスト蒸留
• Authors: Lu Zhang, Sangarapillai Lambotharan, Gan Zheng, Guisheng Liao, Basil AsSadhan, Fabio Roli,
• Abstract要約: 変換器をベースとした無線信号の分類は、敵の例と呼ばれる、知覚不能で慎重に構築された攻撃に対して脆弱であることを示す。 本稿では,変圧器を用いた変調分類における逆例に対する防御システムを提案する。 新しい手法は、頑健に訓練された大型変圧器からコンパクトな変圧器へ対向的な注意マップを転送することを目的としている。
• 参考スコア（独自算出の注目度）: 28.874452850832213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to great success of transformers in many applications such as natural language processing and computer vision, transformers have been successfully applied in automatic modulation classification. We have shown that transformer-based radio signal classification is vulnerable to imperceptible and carefully crafted attacks called adversarial examples. Therefore, we propose a defense system against adversarial examples in transformer-based modulation classifications. Considering the need for computationally efficient architecture particularly for Internet of Things (IoT)-based applications or operation of devices in environment where power supply is limited, we propose a compact transformer for modulation classification. The advantages of robust training such as adversarial training in transformers may not be attainable in compact transformers. By demonstrating this, we propose a novel compact transformer that can enhance robustness in the presence of adversarial attacks. The new method is aimed at transferring the adversarial attention map from the robustly trained large transformer to a compact transformer. The proposed method outperforms the state-of-the-art techniques for the considered white-box scenarios including fast gradient method and projected gradient descent attacks. We have provided reasoning of the underlying working mechanisms and investigated the transferability of the adversarial examples between different architectures. The proposed method has the potential to protect the transformer from the transferability of adversarial examples.
• Abstract（参考訳）: 自然言語処理やコンピュータビジョンなどの多くの応用においてトランスフォーマーが大きな成功を収めているため、トランスフォーマーは自動変調分類にうまく応用されている。 変換器をベースとした無線信号の分類は、敵の例と呼ばれる、知覚不能で慎重に構築された攻撃に対して脆弱であることを示す。 そこで本研究では,変圧器を用いた変調分類における逆例に対する防御システムを提案する。 特にIoT(Internet of Things, モノのインターネット)ベースのアプリケーションや, 電力供給が限られている環境での機器の運用において, 計算効率のよいアーキテクチャの必要性を考慮し, 変調分類のためのコンパクトトランスフォーマーを提案する。 変圧器の対向訓練のような堅牢な訓練の利点は、コンパクトな変圧器では達成できないかもしれない。 これを実証することにより、敵攻撃の有無で堅牢性を高めることができる新しいコンパクトトランスを提案する。 本手法は, 強靭に訓練された大型変圧器から小型変圧器への対向的注意マップの転送を目的とした。 提案手法は,高速勾配法や投射勾配降下攻撃を含むホワイトボックスシナリオの最先端技術より優れている。 我々は,その基盤となる作業機構の推論を行い,異なるアーキテクチャ間の敵例の転送可能性について検討した。 提案手法は, 逆数例の転送性からトランスフォーマーを保護することができる。

関連論文リスト

• Adversarial Robustness of In-Context Learning in Transformers for Linear Regression [23.737606860443705]
  本研究は,線形回帰タスクの設定に焦点をあてたテキストハイザック攻撃に対するトランスフォーマにおける文脈内学習の脆弱性について検討する。 まず,一層線形変圧器が非破壊的であり,任意の予測を出力できることを示す。 次に, 逆行訓練は, ファインタニング時にのみ適用しても, ハイジャック攻撃に対するトランスフォーマーの堅牢性を高めることを実証する。
  論文  参考訳（メタデータ） (2024-11-07T21:25:58Z)
• The Efficacy of Transformer-based Adversarial Attacks in Security Domains [0.7156877824959499]
  システムディフェンダーの対向サンプルに対する変換器のロバスト性およびシステムアタッカーに対する対向強度を評価する。 我々の研究は、セキュリティ領域におけるモデルの攻撃と防御のためにトランスフォーマーアーキテクチャを研究することの重要性を強調している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:23Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• DBIA: Data-free Backdoor Injection Attack against Transformer Networks [6.969019759456717]
  CV指向トランスネットワークに対するデータフリーバックドア攻撃であるDBIAを提案する。 弊社のアプローチでは、バックドアを高い成功率で埋め込むことができ、被害者のトランスフォーマーの性能への影響も低い。
  論文  参考訳（メタデータ） (2021-11-22T08:13:51Z)
• The Nuts and Bolts of Adopting Transformer in GANs [124.30856952272913]
  高忠実度画像合成のためのGAN(Generative Adversarial Network)フレームワークにおけるTransformerの特性について検討する。 我々の研究は、STrans-Gと呼ばれる畳み込みニューラルネットワーク(CNN)フリージェネレータであるGANにおけるトランスフォーマーの新しい代替設計につながる。
  論文  参考訳（メタデータ） (2021-10-25T17:01:29Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)
• The Cascade Transformer: an Application for Efficient Answer Sentence Selection [116.09532365093659]
  本稿では,変圧器をベースとしたモデルのカスケード化手法であるカスケード変換器について紹介する。 現状の変圧器モデルと比較すると,提案手法は精度にほとんど影響を与えずに計算量を37%削減する。
  論文  参考訳（メタデータ） (2020-05-05T23:32:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。