Fugu-MT 論文翻訳(概要): Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization

論文の概要: Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization

arxiv url: http://arxiv.org/abs/2606.12251v1
Date: Wed, 10 Jun 2026 15:53:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-11 16:42:38.545828
Title: Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization
Title（参考訳）: Reinforcement Learning Disrupts Gradient-based Adversarial Optimization
Authors: Xinhai Zou, Chang Zhao, Alireza Aghabagherloo, Dave Singelée, Robin Degraeve, Bart Preneel,
Abstract要約: 勾配に基づく敵対攻撃はディープニューラルネットワーク(DNN)に対する支配的な脅威である強化学習(RL)訓練は攻撃者が使用する勾配構造を乱す可能性がある。 RL-advは評価されたすべての主要な攻撃タイプの中で最も堅牢性が高い。
参考スコア（独自算出の注目度）: 4.530807525445671
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient-based adversarial attacks remain a dominant threat to deep neural networks (DNNs), as they exploit gradient information to efficiently optimize adversarial perturbations. To address this, we investigate whether reinforcement learning (RL) training can disrupt the gradient structure used by attackers by training image classifiers with policy-gradient objectives and epsilon-greedy exploration. Through systematic experiments across CIFAR-10, CIFAR-100, and ImageNet-100 with multiple architectures, we find that RL-trained classifiers significantly disrupt gradient-based adversarial optimization. To explain this, we conduct a comprehensive mechanism analysis using loss landscape visualization, static and dynamic gradient indicators, and predictive entropy. Our analysis reveals that RL acts as an implicit regularizer, producing models with highly unstable gradient directions and smaller gradient magnitudes. This combination makes each PGD step both unreliable in direction and limited in magnitude, causing gradient-based attacks to fail within practical iteration budgets. We further show that combining RL with adversarial training (RL-adv) provides a dual-layer defense operating at two complementary levels: RL degrades gradient information available to attackers (gradient-level defense), while adversarial training strengthens decision boundaries (boundary-level defense). RL-adv achieves the highest robustness across all major attack types evaluated, including gradient-based (PGD, AutoAttack), transfer-based, and query-based attacks, outperforming SL-adv by a significant margin. These findings identify RL-induced gradient disruption as a complementary robustness mechanism and motivate future research on hybrid SL-RL training schedules that combine SL's efficiency with RL's gradient-regularization properties.
Abstract（参考訳）: 勾配に基づく敵対攻撃は、直交摂動を効率的に最適化するために勾配情報を利用するため、ディープニューラルネットワーク(DNN)にとって依然として支配的な脅威である。そこで本研究では,強化学習(RL)トレーニングが,政策段階の目標を持つ画像分類器の訓練や,エプシロン・グリーディ探索によって攻撃者が使用する勾配構造を破壊できるかどうかを検討する。複数のアーキテクチャを用いたCIFAR-10, CIFAR-100, ImageNet-100の系統的な実験により, RL学習型分類器は勾配に基づく逆最適化を著しく阻害することがわかった。これを説明するために、ロスランドスケープの可視化、静的および動的勾配インジケータ、予測エントロピーを用いた包括的なメカニズム解析を行う。解析の結果、RLは暗黙の正則化器として機能し、非常に不安定な勾配方向とより小さい勾配等級のモデルを生成することがわかった。この組み合わせにより、各PGDステップは方向の信頼性が低く、大きさが制限され、実際のイテレーション予算内でグラデーションベースの攻撃が失敗する。さらに、RLとRL-advを組み合わせることで、RLは攻撃者が利用できる勾配情報を分解し(段階的な防御)、対人訓練は決定境界を強化する(境界レベルの防御)。 RL-advは、グラデーションベース(PGD、AutoAttack)、転送ベース、クエリベースアタックなど、評価されたすべての主要な攻撃タイプで最高の堅牢性を達成する。これらの結果から,RLによる勾配破壊は相補的強靭性機構であり,SLの効率とRLの勾配正規化特性を組み合わせたハイブリッドSL-RLトレーニングスケジュールの今後の研究を動機付けている。

関連論文リスト

Information Theoretic Adversarial Training of Large Language Models [26.056920129810294]
WARDENは、大規模言語モデルのための、分散的に堅牢な敵対的トレーニングフレームワークである。経験的トレーニング分布を中心に設定されたf分割あいまいさを通じて、敵の例を動的に重み付けする。これは、CAT-、CAPO-、MixATベースのベースラインに匹敵する計算およびユーティリティコストによる攻撃成功率を大幅に削減する。
論文参考訳（メタデータ） (2026-05-06T20:20:09Z)
TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文参考訳（メタデータ） (2026-03-02T10:38:54Z)
Consolidation or Adaptation? PRISM: Disentangling SFT and RL Data via Gradient Concentration [56.074760766965085]
PRISMは、モデルの既存の知識との認知的対立度に基づいてデータを調停する動的認識フレームワークを実現する。この結果から,内部最適化方式に基づくデータ分離が,スケーラブルでロバストなエージェントアライメントに不可欠であることが示唆された。
論文参考訳（メタデータ） (2026-01-12T05:43:20Z)
Towards Reliable Evaluation of Adversarial Robustness for Spiking Neural Networks [12.939513095038977]
スパイキングニューラルネットワーク(SNN)は、スパイクベースの活性化を利用して、脳のエネルギー効率の高い情報処理を模倣する。より信頼性の高いSNN対逆ロバスト性評価フレームワークを提案する。
論文参考訳（メタデータ） (2025-12-27T08:43:06Z)
DeepDefense: Layer-Wise Gradient-Feature Alignment for Building Robust Neural Networks [0.2099922236065961]
DeepDefenseは、グラディエント・フィーチャー・アライメント(GFA)を複数の層にまたがって正規化することで、敵の脆弱性を抑制する新しいフレームワークである。 DeepDefenseは入力勾配を内部の特徴表現と整合させることで、接角方向のスムーズなロスランドスケープを促進する。我々のアプローチはアーキテクチャに依存しず、実装が簡単で、非常に効果的であり、ディープラーニングモデルの対角的堅牢性を改善するための有望な方向を提供する。
論文参考訳（メタデータ） (2025-11-13T21:54:41Z)
Adaptive Surrogate Gradients for Sequential Reinforcement Learning in Spiking Neural Networks [6.185603604308997]
ニューロモルフィックコンピューティングシステムは、オーダー・オブ・マグニチュード効率向上を達成することで、エネルギー制約されたロボットに革命をもたらす。スパイキングニューラルネットワーク(SNN)は、これらのシステムにとって有望なアルゴリズムアプローチであるが、複雑な制御タスクへの応用には2つの重要な課題がある。本研究では,学習プロセスのブートストラップに特権的な指導方針を取り入れつつ,スパイクポリシーとオンライン環境の相互作用を生かしながら,新たな訓練手法を提案する。
論文参考訳（メタデータ） (2025-10-28T14:28:40Z)
Robust Deep Reinforcement Learning in Robotics via Adaptive Gradient-Masked Adversarial Attacks [15.825229211045647]
本稿では、DRLとグラデーションベースのソフトマスキング機構を組み合わせたホワイトボックス攻撃手法であるAGMRアタックを提案し、臨界状態次元を動的に識別し、敵のポリシーを最適化する。 AGMRは、被害者エージェントのパフォーマンスを低下させ、敵防御機構を通じて被害者エージェントの堅牢性を高める、最先端の敵攻撃方法より優れる。
論文参考訳（メタデータ） (2025-03-26T15:08:58Z)
Adversarial Training for Defense Against Label Poisoning Attacks [53.893792844055106]
ラベル中毒攻撃は機械学習モデルに重大なリスクをもたらす。本稿では,これらの脅威に対処するために,サポートベクトルマシン(SVM)に基づく新たな対角的防御戦略を提案する。提案手法は, 様々なモデルアーキテクチャに対応し, カーネルSVMを用いた予測勾配降下アルゴリズムを用いて, 対向学習を行う。
論文参考訳（メタデータ） (2025-02-24T13:03:19Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Downlink Power Allocation in Massive MIMO via Deep Learning: Adversarial Attacks and Training [62.77129284830945]
本稿では,無線環境における回帰問題を考察し,敵攻撃がDLベースのアプローチを損なう可能性があることを示す。また,攻撃に対するDLベースの無線システムの堅牢性が著しく向上することを示す。
論文参考訳（メタデータ） (2022-06-14T04:55:11Z)
Learn2Perturb: an End-to-end Feature Perturbation Learning to Improve Adversarial Robustness [79.47619798416194]
Learn2Perturbは、ディープニューラルネットワークの対角的堅牢性を改善するために、エンドツーエンドの機能摂動学習アプローチである。予測最大化にインスパイアされ、ネットワークと雑音パラメータを連続的にトレーニングするために、交互にバックプロパゲーショントレーニングアルゴリズムが導入された。
論文参考訳（メタデータ） (2020-03-02T18:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。