論文の概要: Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.01955v1
• Date: Tue, 5 Oct 2021 11:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-06 14:20:41.856078
• Title: Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるロバスト性向上のための分布ミスマッチ補正
• Authors: Alexander Fuchs, Christian Knoll, Franz Pernkopf
• Abstract要約: 正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
• 参考スコア（独自算出の注目度）: 86.42889611784855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks rely heavily on normalization methods to improve their performance and learning behavior. Although normalization methods spurred the development of increasingly deep and efficient architectures, they also increase the vulnerability with respect to noise and input corruptions. In most applications, however, noise is ubiquitous and diverse; this can often lead to complete failure of machine learning systems as they fail to cope with mismatches between the input distribution during training- and test-time. The most common normalization method, batch normalization, reduces the distribution shift during training but is agnostic to changes in the input distribution during test time. This makes batch normalization prone to performance degradation whenever noise is present during test-time. Sample-based normalization methods can correct linear transformations of the activation distribution but cannot mitigate changes in the distribution shape; this makes the network vulnerable to distribution changes that cannot be reflected in the normalization parameters. We propose an unsupervised non-parametric distribution correction method that adapts the activation distribution of each layer. This reduces the mismatch between the training and test-time distribution by minimizing the 1-D Wasserstein distance. In our experiments, we empirically show that the proposed method effectively reduces the impact of intense image corruptions and thus improves the classification performance without the need for retraining or fine-tuning the model.
• Abstract（参考訳）: ディープニューラルネットワークは、パフォーマンスと学習行動を改善するために正規化手法に大きく依存している。 正規化手法はますます深く効率的なアーキテクチャの開発を促したが、ノイズや入力の破損に関しても脆弱性を増大させた。 しかし、ほとんどのアプリケーションではノイズはユビキタスで多様であり、トレーニング中の入力分布とテスト時間の間のミスマッチに対処できないため、機械学習システムの完全な失敗につながることが多い。 最も一般的な正規化手法であるバッチ正規化は、トレーニング中の分布シフトを低減するが、テスト時の入力分布の変化には依存しない。 これにより、テスト期間中にノイズが発生すると、バッチの正規化がパフォーマンスの劣化を引き起こす。 サンプルベース正規化法は、活性化分布の線形変換を補正できるが、分布形状の変化を軽減できないため、正規化パラメータに反映できない分布変化に対してネットワークが脆弱になる。 各層の活性化分布を適応させる非教師なし非パラメトリック分布補正法を提案する。 これにより、1次元のwasserstein距離を最小化することで、トレーニングとテスト時間分布のミスマッチを低減することができる。 実験の結果,提案手法は画像劣化の影響を効果的に低減し,モデルの再トレーニングや微調整を必要とせず,分類性能を向上させることが実証された。

関連論文リスト

• Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach [14.958884168060097]
  オンライン自己学習によるテスト時間適応のための新しい手法を提案する。 提案手法は,マーチンガレットとオンライン学習の概念を組み合わせることで,分布変化に反応可能な検出ツールを構築する。 実験結果から, 分散シフト時のテスト時間精度は, 精度とキャリブレーションを保ちながら向上することが示された。
  論文  参考訳（メタデータ） (2024-08-14T12:40:57Z)
• DR-Tune: Improving Fine-tuning of Pretrained Visual Models by Distribution Regularization with Semantic Calibration [38.4461170690033]
  セマンティックキャリブレーションを用いた分布正規化(DR-Tune)という,新しい微調整フレームワークを提案する。 DR-Tuneは、下流タスクヘッドを強制して、事前訓練された特徴分布の分類誤差を低減することで、分散正則化を採用する。 セマンティックドリフトによる干渉を軽減するため,セマンティックキャリブレーション(SC)モジュールを開発した。
  論文  参考訳（メタデータ） (2023-08-23T10:59:20Z)
• AltUB: Alternating Training Method to Update Base Distribution of Normalizing Flow for Anomaly Detection [1.3999481573773072]
  近年,様々な領域において,教師なし異常検出が注目されている。 その主なアプローチの1つは正規化フローであり、複素分布の像としての可逆変換を N(0, I) として簡単な分布に変換することである。
  論文  参考訳（メタデータ） (2022-10-26T16:31:15Z)
• Continual Test-Time Domain Adaptation [94.51284735268597]
  テスト時ドメイン適応は、ソースデータを使用しずに、ソース事前訓練されたモデルをターゲットドメインに適応することを目的としている。 CoTTAは実装が容易で、市販の事前訓練モデルに簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2022-03-25T11:42:02Z)
• Test-Time Adaptation to Distribution Shift by Confidence Maximization and Input Transformation [44.494319305269535]
  ニューラルネットワークは、トレインタイムのデータ分散下ではありそうもないデータに対して、低いパフォーマンスを示すことが多い。 本稿では,対象分布からのラベル付きデータのみを必要とする完全テスト時間適応設定に焦点をあてる。 本稿では,初期収束とエントロピー最小化の不安定性の両方に対処することにより,テスト時間適応を改善する新しい損失を提案する。
  論文  参考訳（メタデータ） (2021-06-28T22:06:10Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Training Deep Neural Networks Without Batch Normalization [4.266320191208303]
  この研究はバッチ正規化を詳細に研究し、重量正規化、勾配クリッピング、ドロップアウトといった他の手法と比較する。 この研究の主な目的は、トレーニングプロセスの適応によってバッチ正規化が除去された場合、ネットワークを効果的にトレーニングできるかどうかを判断することである。
  論文  参考訳（メタデータ） (2020-08-18T15:04:40Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。