論文の概要: Let the Neurons Die: Exploiting ReLU-Induced Model Degradation

• arxiv url: http://arxiv.org/abs/2609.35528v1
• Date: Mon, 28 Sep 2026 16:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 21:04:46.061128
• Title: Let the Neurons Die: Exploiting ReLU-Induced Model Degradation
• Title（参考訳）: ニューロンを死なせよう:ReLUによるモデル劣化を爆発させる
• Abstract要約: データ注文と中毒に基づく3つのトレーニングタイムアベイラビリティーアタックを提案する。 MNISTでトレーニングされた完全に接続されたReLUネットワーク上では、6万のトレーニング例のうち100が、テストの正確性をわずか5回で96%から95%に削減する。
• 参考スコア（独自算出の注目度）: 10.038788276686537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rectified linear unit (ReLU) networks can suffer from dying neurons, where units with persistently negative pre-activations produce zero outputs, blocking gradients through their activations. To exploit this failure mode, we present three training-time availability attacks based on data ordering and poisoning. We begin with the basic dynamic data-ordering attack (DOA), which greedily constructs a training prefix by selecting the next example that minimizes the target layer's post-update weight sum, aiming to push ReLU units toward negative pre-activations without modifying training samples or labels. We then develop two poisoning attacks, IG-DOA and IG-SKA, which use gradient inversion to synthesize class-conditioned samples by matching reference gradients in adverse model states constructed through data ordering or soft knockout, respectively. Soft knockout rearranges weights across adjacent layers to concentrate negative contributions. On a fully connected ReLU network trained on MNIST, ordering 100 of 60,000 training examples reduces test accuracy from 96% to 95% after only five epochs. Adding 200 poisoned samples from a single class reduces test accuracy to approximately 86-88% after five epochs in most evaluated conditions, compared with approximately 96% under clean training. These results demonstrate that ReLU-targeted data ordering and poisoning can impair learning without directly modifying the victim model's parameters.
• Abstract（参考訳）: Rectified linear unit (ReLU) ネットワークは死のニューロンに悩まされ、持続的に負のプレアクティベーションを持つユニットは出力をゼロにし、そのアクティベーションを通して勾配をブロックする。 この障害モードを利用するために、データ順序付けと中毒に基づく3つのトレーニング時間アベイラビリティーアタックを提案する。 まず、トレーニングサンプルやラベルを変更することなく、ReLUユニットを負のプレアクティベーションに向けてプッシュすることを目的として、ターゲット層の更新後の重みを最小化する次の例を選択することで、トレーニングプレフィックスを巧みに構築する基本的な動的データ順序付け攻撃(DOA)から始める。 次に, IG-DOA と IG-SKA という2つの毒素攻撃を開発し, データ順序付けおよびソフトノックアウトによって構築された有害モデル状態の基準勾配を一致させて, 勾配インバージョンを用いてクラス条件付きサンプルを合成する。 ソフトノックアウトは、負の寄与に集中するために、隣接する層に重みを並べ替える。 MNISTでトレーニングされた完全に接続されたReLUネットワーク上では、6万のトレーニング例のうち100が、テストの正確性をわずか5回で96%から95%に削減する。 単一クラスから200種類の有毒試料を加えると、最も評価の高い条件下では5回の経過で約86～88%の検査精度が低下し、クリーントレーニングでは約96%となった。 これらの結果から,ReLUをターゲットとしたデータ順序付けと中毒は,被害者モデルのパラメータを直接変更することなく学習を損なう可能性が示唆された。

関連論文リスト

• Active Data Sampling and Generation for Bias Remediation [0.0]
  トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。 視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
  論文  参考訳（メタデータ） (2025-03-26T10:42:15Z)
• Unlearnable Examples Detection via Iterative Filtering [84.59070204221366]
  ディープニューラルネットワークは、データ中毒攻撃に弱いことが証明されている。 混合データセットから有毒なサンプルを検出することは極めて有益であり、困難である。 UE識別のための反復フィルタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T13:26:13Z)
• Explore the Effect of Data Selection on Poison Efficiency in Backdoor Attacks [10.817607451423765]
  本研究では,サンプル選択の観点から,バックドアアタックの毒殺効率の向上に焦点をあてる。 各種毒物試料の寄与を示すために, 試料の忘れイベントを採用し, 損失面の曲率を用いて, この現象の有効性を解析した。
  論文  参考訳（メタデータ） (2023-10-15T05:55:23Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Improving novelty detection with generative adversarial networks on hand gesture data [1.3750624267664153]
  本稿では,GAN(Generative Adversarial Network)フレームワークで訓練されたニューラルネットワーク(ANN)を用いた語彙外ジェスチャの分類方法を提案する。 生成モデルは、新しいサンプルとターゲットベクトルでオンライン形式でデータセットを拡大し、識別モデルはサンプルのクラスを決定する。
  論文  参考訳（メタデータ） (2023-04-13T17:50:15Z)
• Dropout Reduces Underfitting [85.61466286688385]
  本研究は,トレーニング開始時の不適合を軽減できることを示す。 ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。 この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
  論文  参考訳（メタデータ） (2023-03-02T18:59:15Z)
• Interpretable (not just posthoc-explainable) medical claims modeling for discharge placement to prevent avoidable all-cause readmissions or death [2.198760145670348]
  我々は回帰係数の変動を表現するために本質的に解釈可能な多レベルベイズフレームワークを開発した。 我々は,この枠組みを用いて,医療クレームを用いた生存モデルを定式化し,入院と死亡を予測した。 2009-2011年の入院エピソードに基づいて、2008年と2011年の医療受給者の5%のサンプルを用いてモデルを訓練し、2012年のエピソードでモデルを検証した。
  論文  参考訳（メタデータ） (2022-08-28T06:19:32Z)
• One-shot Neural Backdoor Erasing via Adversarial Weight Masking [8.345632941376673]
  Adversarial Weight Masking (AWM)は、ワンショット設定でも神経バックドアを消去できる新しい方法である。 AWMは、さまざまな利用可能なトレーニングデータセットサイズに対する他の最先端メソッドに対する浄化効果を大幅に改善することができる。
  論文  参考訳（メタデータ） (2022-07-10T16:18:39Z)
• Self-Damaging Contrastive Learning [92.34124578823977]
  ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。 本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。 実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
  論文  参考訳（メタデータ） (2021-06-06T00:04:49Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。