論文の概要: Improving Adversarial Robustness via Activation Amplification and Attenuation

• arxiv url: http://arxiv.org/abs/2606.27784v1
• Date: Fri, 26 Jun 2026 07:13:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.403627
• Title: Improving Adversarial Robustness via Activation Amplification and Attenuation
• Title（参考訳）: アクティベーション増幅と減衰による対向ロバスト性の改善
• Abstract要約: 本稿では, 対向ロバスト性を高める軽量プラグインモジュールであるActivation Amplification and Attenuation (A3)を紹介する。 A3は、学習可能なマスクと元のアクティベーションマグニチュードから派生したスケーリング係数を用いて、アクティベーションを動的に再スケールする。 逆方向の摂動の影響は、単にスケーリング操作の符号を反転させることで、同じ学習可能なパラメータを用いて増幅または減衰することができる。
• 参考スコア（独自算出の注目度）: 4.477500856678421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The existence of adversarial attacks is often attributed to the presence of non-robust features in neural networks. While prior defenses reduce their impact via pruning, masking, or feature recalibration, we instead propose to jointly learn to amplify and attenuate these signals through a simple activation scaling mechanism. To this end, we introduce Activation Amplification and Attenuation (A3), a lightweight plug-in module that enhances adversarial robustness with minimal modifications of the activations. A3 dynamically rescales the activations using a learnable mask and a scaling factor derived from the original activation magnitudes. The influence of adversarial perturbations can be amplified or attenuated using the same learnable parameters by simply flipping the sign of the scaling operation. The amplified signals serve as negative references to construct novel contrastive and ranking loss functions. Experimental analysis shows that learning to degrade the predictions in amplification mode simultaneously improves adversarial robustness in attenuation mode. Moreover, A3 relies on only a small number of learnable parameters, with most of its behavior being determined by the scaling mechanism rather than additional network capacity. Extensive experiments demonstrate that integrating A3 into different backbones, datasets, and training methods consistently improves adversarial robustness while introducing negligible computational and memory overhead compared to existing plug-in modules. Code is available at: https://github.com/tgoncalv/A3.
• Abstract（参考訳）: 敵対的攻撃の存在は、しばしばニューラルネットワークにおける非破壊的特徴の存在に起因する。 先行防衛は、プルーニング、マスキング、機能再調整によって影響を減少させるが、我々は単純なアクティベーションスケーリング機構を通じて、これらの信号を増幅し、減衰させることを共同で学ぶことを提案する。 この目的のために,アクティベーション増幅・減衰(A3)を導入し,アクティベーションの最小限の変更を伴って,対向ロバスト性を高める軽量プラグインモジュールを提案する。 A3は、学習可能なマスクと元のアクティベーションマグニチュードから派生したスケーリング係数を用いて、アクティベーションを動的に再スケールする。 逆方向の摂動の影響は、単にスケーリング操作の符号を反転させることで、同じ学習可能なパラメータを用いて増幅または減衰することができる。 増幅信号は、新しいコントラストおよびランキング損失関数を構築するために負の参照として機能する。 実験により,増幅モードにおける予測の劣化を学習することで,減衰モードにおける対向ロバスト性も向上することが示された。 さらに、A3は少数の学習可能なパラメータのみに依存しており、ほとんどの振る舞いはネットワーク容量を増やすのではなく、スケーリングメカニズムによって決定される。 大規模な実験では、A3を異なるバックボーン、データセット、トレーニングメソッドに統合することで、既存のプラグインモジュールと比較して無視可能な計算とメモリオーバーヘッドを導入しながら、相変わらず敵の堅牢性を改善することが示されている。 コードは、https://github.com/tgoncalv/A3.comで入手できる。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Learning to Perturb Hidden Representations for Generalizable Deep Learning [3.2608238154676843]
  また,Dropout, Manifold Mixup, 対向的特徴摂動, 関連手法はいずれも, 特定の形態のアクティベーション摂動を課すが, クラスに依存しない, ランダムな戦略を課す。 本稿では,PGDを用いて学習したクラスレベルの摂動を持つ隠蔽層において,アクティベーションを適応的に摂動するLPA(Learning to Perturb Activation)を提案する。
  論文  参考訳（メタデータ） (2026-05-28T07:41:39Z)
• Adaptive Activation Cancellation for Hallucination Mitigation in Large Language Models [6.53417787720275]
  本稿では,幻覚関連ニューラルアクティベーションをトランスフォーマー残流内の構造的干渉として扱うリアルタイム推論フレームワークを提案する。 このフレームワークは階層的に線形な探索を通じて幻覚ノード(H-Nodes)を特定し、信頼度重み付けされたフォワードフックを使用してそれらを抑圧する。
  論文  参考訳（メタデータ） (2026-03-10T19:43:18Z)
• LeakBoost: Perceptual-Loss-Based Membership Inference Attack [4.82560917771631]
  LeakBoostは知覚的ロスに基づく尋問フレームワークで、モデルの内部表現を積極的に調査して、隠されたメンバシップ信号を公開する。 LeakBoostは、複数の画像分類データセットと多様なニューラルネットワークアーキテクチャで、低い偽陽性率で大幅に改善されている。
  論文  参考訳（メタデータ） (2026-02-05T15:15:35Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• Meaningless Tokens, Meaningful Gains: How Activation Shifts Enhance LLM Reasoning [53.35553353785948]
  問合せプロンプトの前に無意味なトークンの長いシーケンスを挿入することで、LCM性能の推論を継続的に強化できるというファズリング観測により、本研究は、この現象を駆動する基盤となるメカニズムを解析する。 その結果,LLM層における活性化の再分配により,大きな活性化が増大するにつれて,ほぼゼロに近い活性化頻度が低下することが判明した。 本稿では,入力シーケンスを変更することなく,アクティベーションを直接修正する軽量な推論時間手法を提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:39:38Z)
• Detection Transformers Under the Knife: A Neuroscience-Inspired Approach to Ablations [5.5967570276373655]
  我々は3つの最先端検出トランスモデルにおけるキーコンポーネントの破壊の影響を系統的に分析する。 我々は,これらの改善がパフォーマンス指標gIoUとF1スコアに与える影響を評価する。 本研究は, モデル性能に対する内部成分の寄与を明らかにすることにより, DETRのXAIを推し進める。
  論文  参考訳（メタデータ） (2025-07-29T12:00:08Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning [4.051777802443125]
  スパースオートエンコーダ(SAE)は、ニューラルネットワーク表現を抽出するための有望なアプローチである。 我々は、TopKアクティベーション関数を増強することにより、$k$-sparseのオートエンコーダアーキテクチャを変更するGradient SAEを紹介する。 g-SAEが任意の文脈でモデルを操る上で平均的に効果的である潜伏者を学ぶ証拠が見つかる。
  論文  参考訳（メタデータ） (2024-11-15T18:03:52Z)
• Feature Separation and Recalibration for Adversarial Robustness [18.975320671203132]
  本稿では,特徴分離と再校正という手法を提案する。 分離と再校正を通じて、より堅牢な機能マップのために、悪意のある非不正なアクティベーションを再校正する。 これにより、計算オーバーヘッドが小さいため、既存の敵の訓練手法の堅牢性は最大8.57%向上する。
  論文  参考訳（メタデータ） (2023-03-24T07:43:57Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Improving Adversarial Robustness via Channel-wise Activation Suppressing [65.72430571867149]
  深層ニューラルネットワーク(DNN)を用いたセキュアで堅牢な学習において,その逆例とその活性化に関する研究が注目されている。 本稿では,チャネルワイドアクティベーションの観点から,敵対的事例の新たな特徴を2つ挙げる。 我々は,CASが本質的に敵の活性化を抑制するモデルを訓練でき,既存の防御手法にも容易に適用でき,より堅牢性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-03-11T03:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。