論文の概要: Regularising for invariance to data augmentation improves supervised learning

• arxiv url: http://arxiv.org/abs/2203.03304v1
• Date: Mon, 7 Mar 2022 11:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:26:59.511862
• Title: Regularising for invariance to data augmentation improves supervised learning
• Title（参考訳）: 教師付き学習を改善するデータ拡張の不変性の規則化
• Authors: Aleksander Botev, Matthias Bauer, Soham De
• Abstract要約: 入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
• 参考スコア（独自算出の注目度）: 82.85692486314949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is used in machine learning to make the classifier invariant to label-preserving transformations. Usually this invariance is only encouraged implicitly by including a single augmented input during training. However, several works have recently shown that using multiple augmentations per input can improve generalisation or can be used to incorporate invariances more explicitly. In this work, we first empirically compare these recently proposed objectives that differ in whether they rely on explicit or implicit regularisation and at what level of the predictor they encode the invariances. We show that the predictions of the best performing method are also the most similar when compared on different augmentations of the same input. Inspired by this observation, we propose an explicit regulariser that encourages this invariance on the level of individual model predictions. Through extensive experiments on CIFAR-100 and ImageNet we show that this explicit regulariser (i) improves generalisation and (ii) equalises performance differences between all considered objectives. Our results suggest that objectives that encourage invariance on the level of the neural network itself generalise better than those that achieve invariance by averaging predictions of non-invariant models.
• Abstract（参考訳）: データ拡張は機械学習でラベル保存変換の分類器を不変にするために使われる。 通常、この不変性はトレーニング中に単一の拡張入力を含めることによって暗黙的にのみ促進される。 しかし、近年のいくつかの研究は、入力毎に複数の拡張を使用することで一般化を改善したり、より明確に不変性を組み込むことができることを示した。 本研究では,最近提案された対象を,明示的あるいは暗黙的正規化に依存するか,不変性を符号化する予測器のレベルによって異なるものと比較した。 提案手法では,同一入力の異なる加算値と比較した場合,最良手法の予測値も最もよく似ていることを示す。 この観察に触発されて、個々のモデル予測のレベルでこの不変性を促進する明示的な正規化器を提案する。 CIFAR-100とImageNetの広範な実験を通して、この明示的な正則性を示す。 (i)一般化と改善 (ii) 検討対象間の性能差を等しくする。 この結果から,ニューラルネットワーク自体のレベルの不変性を促進する目的は,非不変モデルの予測を平均化することによって,不変性を達成する目的よりも一般化されることが示唆された。

関連論文リスト

• The good, the bad and the ugly sides of data augmentation: An implicit spectral regularization perspective [14.229855423083922]
  データ拡張(DA)は、現代の機械学習のパフォーマンス向上のための強力なワークホースである。 本研究では,DAの一般クラスが一般化に与える影響を特徴付ける新しい理論的枠組みを開発する。 本フレームワークは,DAの一般化に対する微妙な影響と,時として驚くべき影響を強調し,新しい拡張設計のためのテストベッドとして機能する。
  論文  参考訳（メタデータ） (2022-10-10T21:30:46Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。