Fugu-MT 論文翻訳(概要): Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness

論文の概要: Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness

arxiv url: http://arxiv.org/abs/2207.01548v1
Date: Mon, 4 Jul 2022 16:16:24 GMT
ステータス: 処理完了
システム内更新日: 2022-07-05 13:29:49.471765
Title: Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness
Title（参考訳）: counterbalancing teacher:ロバスト性のためのバッチ正規化モデル
Authors: Saeid Asgari Taghanaki, Ali Gholami, Fereshte Khani, Kristy Choi, Linh Tran, Ran Zhang, Aliasghar Khani
Abstract要約: バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
参考スコア（独自算出の注目度）: 15.395021925719817
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Batch normalization (BN) is a ubiquitous technique for training deep neural networks that accelerates their convergence to reach higher accuracy. However, we demonstrate that BN comes with a fundamental drawback: it incentivizes the model to rely on low-variance features that are highly specific to the training (in-domain) data, hurting generalization performance on out-of-domain examples. In this work, we investigate this phenomenon by first showing that removing BN layers across a wide range of architectures leads to lower out-of-domain and corruption errors at the cost of higher in-domain errors. We then propose Counterbalancing Teacher (CT), a method which leverages a frozen copy of the same model without BN as a teacher to enforce the student network's learning of robust representations by substantially adapting its weights through a consistency loss function. This regularization signal helps CT perform well in unforeseen data shifts, even without information from the target domain as in prior works. We theoretically show in an overparameterized linear regression setting why normalization leads to a model's reliance on such in-domain features, and empirically demonstrate the efficacy of CT by outperforming several baselines on robustness benchmarks such as CIFAR-10-C, CIFAR-100-C, and VLCS.
Abstract（参考訳）: バッチ正規化(BN)は、ディープニューラルネットワークをトレーニングするためのユビキタスなテクニックであり、収束を加速してより高い精度に達する。しかし、BNには根本的な欠点があり、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存するようにモデルにインセンティブを与え、ドメイン外の例での一般化性能を損なう。本研究では,この現象を,広範囲のアーキテクチャでBN層を除去することで,ドメイン内エラーの増大によるドメイン外エラーや破損エラーの低減につながることを示す。そこで,教師としてbnを使わずに同じモデルの凍結コピーを活用し,一貫性損失関数による重み付けを実質的に適応させることで,学生ネットワークによるロバスト表現の学習を強制する反バランス教師(ct)を提案する。この正規化信号は、従来のようなターゲットドメインからの情報がなくても、CTが予期せぬデータシフトでうまく機能するのに役立つ。また,CIFAR-10-C,CIFAR-100-C,VLCSなどの頑健性ベンチマークにおいて,複数のベースラインを上回りCTの有効性を実証的に実証した。

関連論文リスト

Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
論文参考訳（メタデータ） (2023-11-27T16:41:31Z)
Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
論文参考訳（メタデータ） (2023-06-02T12:22:35Z)
Why Batch Normalization Damage Federated Learning on Non-IID Data? [34.06900591666005]
フェデレートラーニング(FL)では、エッジクライアントのプライバシを保護しながら、ネットワークエッジでディープニューラルネットワーク(DNN)モデルをトレーニングする。バッチ正規化(BN)は、訓練を加速し、能力一般化を改善するためのシンプルで効果的な手段とみなされてきた。最近の研究では、BNは非i.d.データの存在下でFLの性能を著しく損なうことが示されている。非i.d.データの下で、BNの局所的および大域的統計パラメータ間のミスマッチが局所的および大域的モデル間の勾配ずれを引き起こすことを示す最初の収束解析を提示する。
論文参考訳（メタデータ） (2023-01-08T05:24:12Z)
On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
論文参考訳（メタデータ） (2022-12-05T11:56:35Z)
Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
論文参考訳（メタデータ） (2022-11-24T19:09:44Z)
Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
論文参考訳（メタデータ） (2022-02-16T12:38:43Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。