論文の概要: Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance
- arxiv url: http://arxiv.org/abs/2607.14466v1
- Date: Thu, 16 Jul 2026 01:25:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.942634
- Title: Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance
- Title（参考訳）: インターリーブノイズ注入によるクリーン, 破損, OOD性能の向上
- Abstract要約: 本稿では, ノイズ注入の理論解析を行い, インパルスノイズによる劣化がヤコビ正規化に近似していることを確認する。
本研究は, インダクティブバイアスによる障害モードのペナルティ化が, インターリーブドノイズ注入の効果に起因していることを示す。
したがって、インターリーブノイズ注入は、本質的に計算コストゼロで、クリーンでノイズの多い、およびアウト・オブ・ディストリビューションデータのテスト性能を向上させる効果的なツールである。
- 参考スコア（独自算出の注目度）: 1.6567880228735357
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Noise injection is a well-known technique in stochastic optimization. We report its surprising effectiveness with an interleaved (on-off-on-off...) rather than the usual monotonic decay schedule. We present a theoretical analysis of noise injection, which confirms that corruption by impulse noise approximates a Jacobian regularization, whereas Gaussian noise acts as a curvature penalty. This regularization behavior has been invoked to explain why noise injection increases model robustness. But the interleaved nature of our proposed schedule produces superior results even for the optimization objective: mixing phases of noisy data permits the optimizer to escape local minima and increase exploration without the risk of catastrophically forgetting the important features from the clean data. To stabilize this training scheme against the rapid changes of the loss when switching between clean and noisy data, we introduce a gradient-norm stabilization technique that scales noisy updates based on clean gradient magnitudes. We compare this method with other common augmentation methods and find substantial improvements in corruption tolerance and robustness to real-world distribution shifts on CIFAR-100-C, ImageNet-C, and ImageNet-R for ResNet and ViT architectures, with the best results being achieved by stacking our method on top of other augmentations. Through saliency and attention maps we show that the effect of interleaved noise injection stems from penalizing the failure modes encouraged by the inductive bias of the models: impulse noise works against the locality bias of convolutional (ResNet) architectures, and Gaussian noise reduces the tendency of attention-based models to pick up large-scale spurious features. Interleaved noise injection is therefore an effective tool to improve the test performance on clean, noisy, and out-of-distribution data at essentially zero computational cost.
- Abstract（参考訳）: 雑音注入は確率最適化においてよく知られた手法である。
通常の単調崩壊スケジュールではなく、インターリーブド(on-off-on-off-off...)を用いて、驚くべき効果を報告した。
本稿では, インパルスノイズによる劣化がジャコビアン正規化に近似するのに対して, ガウスノイズは曲率ペナルティとして機能することを示す。
この正規化挙動は、なぜノイズ注入がモデルロバスト性を高めるのかを説明するために導入された。
しかし,提案したスケジュールのインターリーブ特性は,ノイズデータの位相を混合することで,局所的な最小化を回避し,クリーンデータから重要な特徴を破滅的に忘れることなく探索を促進できるという最適化目標に対して,優れた結果をもたらす。
クリーンデータとノイズデータを切り替える際の損失の急激な変化に対して,このトレーニングスキームを安定化させるために,クリーンな勾配等級に基づいてノイズの高い更新をスケールする勾配-ノーム安定化手法を導入する。
本手法を他の一般的な拡張手法と比較し,CIFAR-100-C, ImageNet-C, ImageNet-Rにおける実世界の分散シフトに対する耐汚損性および堅牢性を大幅に向上させる。
インパルスノイズは、畳み込み(ResNet)アーキテクチャの局所性バイアスに対して作用し、ガウスノイズは、大規模なスプリアス特徴を拾うために注意に基づくモデルの傾向を減少させる。
したがって、インターリーブノイズ注入は、本質的に計算コストゼロで、クリーンでノイズの多い、およびアウト・オブ・ディストリビューションデータのテスト性能を向上させる効果的なツールである。
関連論文リスト
- NoiseRater: Meta-Learned Noise Valuation for Diffusion Model Training [81.58321000203712]
NoiseRaterは、拡散モデルトレーニングにおけるインスタンスレベルのノイズ評価のためのメタラーニングフレームワークである。
NoiseRaterは、重要度スコアをデータとタイムステップで条件付けられた個々のノイズ実現に割り当てる。
FFHQとImageNetの実験では、すべてのノイズサンプルが等しく寄与するわけではない。
論文 参考訳（メタデータ） (2026-05-02T19:43:16Z) - NADD: Amplifying Noise for Effective Diffusion-based Adversarial Purification [15.051303733999392]
拡散に基づく生成モデルと分類器を組み合わせる戦略は、対向ロバストネスベンチマークで最先端の性能を実証し続けている。
これは、データ分布における高密度領域を同定し、入力からの逆流を浄化する拡散モデルの能力を利用する。
既存の拡散に基づく浄化防御は、拡散過程で使用される低レベルのノイズのため、破壊的に遅く、ロバスト性に制限されている。
本稿では, 逆拡散過程において, 対向性摂動を減らし, 付加雑音を発生させる新しいサンプリング法を提案する。
論文 参考訳（メタデータ） (2026-01-03T08:10:43Z) - Noise-Robust Tiny Object Localization with Flows [63.60972031108944]
フレキシブルなエラーモデリングと不確実性誘導最適化に正規化フローを活用するノイズローバストローカライゼーションフレームワークを提案する。
本手法は,フローベース誤差モデルを用いて,複雑な非ガウス予測分布を抽出し,ノイズの多い監視下で頑健な学習を可能にする。
不確実性を考慮した勾配変調機構は、トレーニングを安定化しながら過度な適合を緩和し、高不確実でノイズの強いサンプルからの学習をさらに抑制する。
論文 参考訳（メタデータ） (2026-01-02T09:16:55Z) - Integrating Reweighted Least Squares with Plug-and-Play Diffusion Priors for Noisy Image Restoration [6.402777145722335]
インパルスノイズを含む一般的なノイズの頑健な除去のための生成拡散先に基づくプラグアンドプレイ画像復元フレームワークを提案する。
評価実験の結果,提案手法は非ガウス的インパルスノイズを効果的に除去し,復元性能が向上することが示された。
論文 参考訳（メタデータ） (2025-11-10T08:11:20Z) - Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。
NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
論文 参考訳（メタデータ） (2025-10-14T13:31:34Z) - A self-supervised learning approach for denoising autoregressive models with additive noise: finite and infinite variance cases [0.9217021281095907]
応用においては、自己回帰信号は加法雑音によってしばしば破損する。
本稿では,付加的な雑音崩壊型自己回帰モデルを示す自己教師型学習手法を提案する。
論文 参考訳（メタデータ） (2025-08-18T14:46:56Z) - Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments [5.8166742412657895]
ディープニューラルネットワーク(DNN)は、さまざまなドメインで顕著な成功を収めているが、ノイズやトレーニングデータによってそのパフォーマンスが著しく低下する可能性がある。
本稿では,帰属誘導型データパーティショニング,識別的ニューロンプルーニング,およびノイズのあるサンプルの影響を軽減するための微調整を目的とした新しいフレームワークを提案する。
CIFAR-10の標準リトレーニングよりも約10%の絶対精度向上を実現し,ラベルノイズを注入した。
論文 参考訳（メタデータ） (2025-06-13T09:37:11Z) - Divide and Conquer: Heterogeneous Noise Integration for Diffusion-based Adversarial Purification [75.09791002021947]
既存の浄化法は,前向き拡散過程を通じて一定のノイズを発生させ,その後に逆の処理を行い,クリーンな例を回復させることによって,対向的摂動を妨害することを目的としている。
この方法は、前処理の均一な操作が、対向的摂動と闘いながら通常のピクセルを損なうため、根本的な欠陥がある。
ニューラルネットワークの解釈可能性に基づく異種浄化戦略を提案する。
本手法は,被写体モデルが注目する特定の画素に対して高強度雑音を決定的に印加する一方,残りの画素は低強度雑音のみを被写体とする。
論文 参考訳（メタデータ） (2025-03-03T11:00:25Z) - Negative Pre-aware for Noisy Cross-modal Matching [46.5591267410225]
雑音対応は認識と修正が難しいため,クロスモーダルノイズロバスト学習は難しい課題である。
本稿では,雑音の多い下流タスクに対する大規模視覚言語モデルファインタニングのための,否定的事前認識型クロスモーダルマッチングソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-10T05:52:36Z) - DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection [80.20339155618612]
DiffusionADは、再構成サブネットワークとセグメンテーションサブネットワークからなる、新しい異常検出パイプラインである。
高速なワンステップデノゲーションパラダイムは、同等の再現品質を維持しながら、数百倍の加速を達成する。
異常の出現の多様性を考慮し、複数のノイズスケールの利点を統合するためのノルム誘導パラダイムを提案する。
論文 参考訳（メタデータ） (2023-03-15T16:14:06Z) - SAR Despeckling using a Denoising Diffusion Probabilistic Model [52.25981472415249]
スペックルの存在は画像品質を劣化させ、SAR画像理解アプリケーションの性能に悪影響を及ぼす。
本稿では,SAR脱種のための拡散確率モデルであるSAR-DDPMを紹介する。
提案手法は, 最先端の切り離し法と比較して, 定量化と定性化の両面で有意な改善を実現している。
論文 参考訳（メタデータ） (2022-06-09T14:00:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。