論文の概要: On the Interaction of Compressibility and Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2507.17725v1
- Date: Wed, 23 Jul 2025 17:35:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:15.11057
- Title: On the Interaction of Compressibility and Adversarial Robustness
- Title（参考訳）: 圧縮性と対向ロバスト性の相互作用について
- Authors: Melih Barsbey, Antônio H. Ribeiro, Umut Şimşekli, Tolga Birdal,
- Abstract要約: 我々は、ニューロンレベルの空間性やスペクトル圧縮性など、様々な形態の圧縮性が、敵の強靭性にどのように影響するかを分析する。
これらの圧縮形式は、敵が活用できる表現空間において、少数の高感度な方向を誘導できることを示す。
本研究は, 構造圧縮性とロバスト性の間に根本的緊張関係があることを示し, 効率的かつセキュアなモデル設計のための新しい経路を提案する。
- 参考スコア（独自算出の注目度）: 15.677544432057921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern neural networks are expected to simultaneously satisfy a host of desirable properties: accurate fitting to training data, generalization to unseen inputs, parameter and computational efficiency, and robustness to adversarial perturbations. While compressibility and robustness have each been studied extensively, a unified understanding of their interaction still remains elusive. In this work, we develop a principled framework to analyze how different forms of compressibility - such as neuron-level sparsity and spectral compressibility - affect adversarial robustness. We show that these forms of compression can induce a small number of highly sensitive directions in the representation space, which adversaries can exploit to construct effective perturbations. Our analysis yields a simple yet instructive robustness bound, revealing how neuron and spectral compressibility impact $L_\infty$ and $L_2$ robustness via their effects on the learned representations. Crucially, the vulnerabilities we identify arise irrespective of how compression is achieved - whether via regularization, architectural bias, or implicit learning dynamics. Through empirical evaluations across synthetic and realistic tasks, we confirm our theoretical predictions, and further demonstrate that these vulnerabilities persist under adversarial training and transfer learning, and contribute to the emergence of universal adversarial perturbations. Our findings show a fundamental tension between structured compressibility and robustness, and suggest new pathways for designing models that are both efficient and secure.
- Abstract（参考訳）: 現代のニューラルネットワークは、トレーニングデータへの正確な適合、見つからない入力への一般化、パラメータと計算効率、敵の摂動に対する堅牢性など、多くの望ましい特性を同時に満たすことが期待されている。
圧縮性と堅牢性は広く研究されているが、それらの相互作用の統一的な理解はいまだに解明されていない。
本研究では,ニューロンレベルの分散性やスペクトル圧縮性などの異なる形態の圧縮性が,逆向きの堅牢性にどのように影響するかを解析する枠組みを開発する。
これらの圧縮形式は表現空間において少数の高感度な方向を誘導し, 敵が効果的に摂動を構築できることを示す。
解析の結果, ニューロンとスペクトルの圧縮性が, 学習表現に対する影響により, L_\infty$および$L_2$のロバスト性にどのように影響するかが明らかになった。
私たちが認識する脆弱性は、正規化やアーキテクチャバイアス、暗黙の学習ダイナミクスなど、圧縮の達成方法に関係なく発生します。
人工的・現実的なタスクにおける経験的評価を通じて、理論的予測を確認し、これらの脆弱性が敵の訓練と移動学習の下で持続していることをさらに証明し、普遍的な敵の摂動の出現に寄与する。
本研究は, 構造圧縮性とロバスト性の間に根本的緊張関係があることを示し, 効率的かつセキュアなモデル設計のための新しい経路を提案する。
関連論文リスト
- Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity [51.40558987254471]
強化学習の現実的な応用は、エージェントが複雑な高次元の観察を行う環境を含むことが多い。
本稿では,統計的・アルゴリズム的な観点から,textit General$ latent dynamicsの下での強化学習の課題に対処する。
論文 参考訳（メタデータ） (2024-10-23T14:22:49Z) - Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency [3.3490724063380215]
アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。
本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。
本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
論文 参考訳（メタデータ） (2024-03-14T14:34:25Z) - Disentangling the Causes of Plasticity Loss in Neural Networks [55.23250269007988]
可塑性の喪失は複数の独立したメカニズムに分解できることを示す。
種々の非定常学習タスクにおいて, 層正規化と重み劣化の組み合わせは, 可塑性維持に極めて有効であることを示す。
論文 参考訳（メタデータ） (2024-02-29T00:02:33Z) - Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。
これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。
本稿では,新しい特徴一般化の観点からROを考察する。
論文 参考訳（メタデータ） (2023-10-01T07:57:03Z) - Causal Adversarial Perturbations for Individual Fairness and Robustness
in Heterogeneous Data Spaces [9.945881685938602]
本研究では,不均一なデータ空間における個人的公正性,対角的ロバスト性,構造的因果モデルとの関係について検討する。
新たな因果摂動を導入し, 逆行訓練を適用して, 個別の公平性, 因果性, 頑健性を組み合わせた新たな正則化器を作成する。
論文 参考訳（メタデータ） (2023-08-17T12:16:48Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - Robustness in Deep Learning for Computer Vision: Mind the gap? [13.576376492050185]
我々は、コンピュータビジョンのためのディープラーニングにおいて、現在の定義と非敵対的堅牢性に向けての進歩を特定し、分析し、要約する。
この研究の分野は、敵対的機械学習に対して、不当にあまり注目されていないことがわかりました。
論文 参考訳（メタデータ） (2021-12-01T16:42:38Z) - Neural Population Geometry Reveals the Role of Stochasticity in Robust
Perception [16.60105791126744]
本稿では,視覚神経ネットワークの内部表現に逆方向の摂動がどのような影響を及ぼすかを検討する。
ネットワークの種類ごとに異なる幾何学的シグネチャを見つけ,ロバスト表現を実現するための異なるメカニズムを明らかにする。
我々の結果は、堅牢な知覚ネットワークの戦略に光を当て、幾何学性が機械や生物学的計算にどのように役立つかを説明するのに役立ちました。
論文 参考訳（メタデータ） (2021-11-12T22:59:45Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Towards Understanding the Adversarial Vulnerability of Skeleton-based
Action Recognition [133.35968094967626]
骨格に基づく行動認識は、動的状況への強い適応性から注目を集めている。
ディープラーニング技術の助けを借りて、かなり進歩し、現在、良識のある環境で約90%の精度を達成している。
異なる対角的環境下での骨格に基づく行動認識の脆弱性に関する研究はいまだ研究されていない。
論文 参考訳（メタデータ） (2020-05-14T17:12:52Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。