論文の概要: Incorruptible Neural Networks: Training Models that can Generalize to Large Internal Perturbations

• arxiv url: http://arxiv.org/abs/2602.07320v1
• Date: Sat, 07 Feb 2026 02:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.57052
• Title: Incorruptible Neural Networks: Training Models that can Generalize to Large Internal Perturbations
• Title（参考訳）: 不正確なニューラルネットワーク:大規模内部摂動に一般化可能なトレーニングモデル
• Authors: Philip Jacobson, Ben Feinberg, Suhas Kumar, Sapan Agarwal, T. Patrick Xiao, Christopher Bennett,
• Abstract要約: 本稿では,シャープネスを意識した最小化法(SAM)とランダムウェイト摂動法(RWP)の2つの手法について検討し,様々なランダムな汚職から重みへのロバストなミニマを求める。 小振幅雑音では、SAMの対向目的によりRWPよりも性能が向上するが、大振幅雑音に対しては性能が劣る。 我々はこの原因を, SAMとRWPの両方に影響を及ぼす損失景観の不均一に起因する, 消失・緩やかな影響と結びつけた。
• 参考スコア（独自算出の注目度）: 0.9954435559869313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flat regions of the neural network loss landscape have long been hypothesized to correlate with better generalization properties. A closely related but distinct problem is training models that are robust to internal perturbations to their weights, which may be an important need for future low-power hardware platforms. In this paper, we explore the usage of two methods, sharpness-aware minimization (SAM) and random-weight perturbation (RWP), to find minima robust to a variety of random corruptions to weights. We consider the problem from two angles: generalization (how do we reduce the noise-robust generalization gap) and optimization (how do we maximize performance from optimizers when subject to strong perturbations). First, we establish, both theoretically and empirically, that an over-regularized RWP training objective is optimal for noise-robust generalization. For small-magnitude noise, we find that SAM's adversarial objective further improves performance over any RWP configuration, but performs poorly for large-magnitude noise. We link the cause of this to a vanishing-gradient effect, caused by unevenness in the loss landscape, affecting both SAM and RWP. Lastly, we demonstrate that dynamically adjusting the perturbation strength to match the evolution of the loss landscape improves optimizing for these perturbed objectives.
• Abstract（参考訳）: ニューラルネットワークロスランドスケープの平坦な領域は、長い間、より良い一般化特性と相関していると仮定されてきた。 密接に関連するが明確な問題は、内部の摂動に頑健なトレーニングモデルであり、将来の低消費電力ハードウェアプラットフォームにとって重要なニーズである可能性がある。 本稿では,シャープネスを意識した最小化法(SAM)とランダムウェイト摂動法(RWP)の2つの手法について検討し,様々なランダムな乱れから重みへの頑健なミニマを求める。 一般化(ノイズ・ロバストな一般化ギャップの低減)と最適化(強い摂動条件下で最適化器の性能を最大化する方法)の2つの角度から問題を考察する。 まず、理論的にも経験的にも過度に規則化されたRWP学習目標がノイズ・ロバスト一般化に最適であることを示す。 小型磁気雑音では、SAMの対向目的によりRWP構成よりも性能が向上するが、大振幅雑音に対しては性能が劣る。 我々はこの原因を, SAMとRWPの両方に影響を及ぼす損失景観の不均一に起因する, 消失・緩やかな影響と結びつけた。 最後に、損失景観の進化に合わせた摂動強度の動的調整が、これらの摂動目標の最適化を改善することを実証する。

関連論文リスト

• Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
  フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。 本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。 不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
  論文  参考訳（メタデータ） (2026-01-02T09:16:55Z)
• Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments [5.8166742412657895]
  ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。 本稿では,帰属誘導型データパーティショニング,識別的ニューロンプルーニング,およびノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。 CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,ラベルノイズを注入した。
  論文  参考訳（メタデータ） (2025-06-13T09:37:11Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Revisiting Random Weight Perturbation for Efficiently Improving Generalization [26.278620679294562]
  ディープニューラルネットワーク(DNN)の一般化を改善する2つの方法が提案されている。 本稿では,一般化のためのRWPの利用を再考し,二つの観点から改善を提案する。 拡張RWP法は,特に大規模問題において,一般化の効率化に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-30T13:18:27Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Efficient Generalization Improvement Guided by Random Weight Perturbation [24.027159739234524]
  Gruesome-aware Minimization (SAM)は、一般化の改善のための一般的なスキームを確立する。 我々は、SAMのネスト勾配を分離するために、フィルタワイズランダムウェイト摂動(RWP)を利用する。 我々は、CIFAR上での非常に競争力のあるパフォーマンスと、ImageNet上での極めて優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-11-21T14:24:34Z)
• SAMSON: Sharpness-Aware Minimization Scaled by Outlier Normalization for Improving DNN Generalization and Robustness [11.249410336982258]
  エネルギー効率の高いディープニューラルネットワーク(DNN)アクセラレータは、推論時にパフォーマンスを低下させる非イデオロギーの傾向がある。 既存の手法では、トレーニング中にDNNの重み付けに摂動を加え、ノイズの多いハードウェアでの推論をシミュレートする。 本研究では,損失値と損失シャープネスの両方を最適化することにより,ノイズの多いハードウェアに対する推論時のロバスト性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2022-11-18T16:58:23Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• {\delta}-SAM: Sharpness-Aware Minimization with Dynamic Reweighting [17.50856935207308]
  対人訓練は、敵に選択された摂動の上にある損失の変化を規則化し、一般化を改善する効果を示した。 最近提案されたシャープネス対応最小化(SAM)アルゴリズムは、逆方向の重みの摂動を採用し、モデルが平坦なミニマに収束することを奨励する。 本稿では,各バッチ内の動的再重み付き摂動について,非ガード型インスタンスが高重み付きである場合,インスタンスごとの摂動より優れた近似法として機能することを提案する。
  論文  参考訳（メタデータ） (2021-12-16T10:36:35Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。