論文の概要: Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations

• arxiv url: http://arxiv.org/abs/2011.13052v1
• Date: Wed, 25 Nov 2020 22:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 03:23:22.394072
• Title: Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations
• Title（参考訳）: 拡張データを活用したロバスト表現と不変表現の学習のための一貫性損失としての2乗$\ell_2$ norm
• Authors: Haohan Wang, Zeyi Huang, Xindi Wu, Eric P. Xing
• Abstract要約: 元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 76.85274970052762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation is one of the most popular techniques for improving the robustness of neural networks. In addition to directly training the model with original samples and augmented samples, a torrent of methods regularizing the distance between embeddings/representations of the original samples and their augmented counterparts have been introduced. In this paper, we explore these various regularization choices, seeking to provide a general understanding of how we should regularize the embeddings. Our analysis suggests the ideal choices of regularization correspond to various assumptions. With an invariance test, we argue that regularization is important if the model is to be used in a broader context than the accuracy-driven setting because non-regularized approaches are limited in learning the concept of invariance, despite equally high accuracy. Finally, we also show that the generic approach we identified (squared $\ell_2$ norm regularized augmentation) outperforms several recent methods, which are each specially designed for one task and significantly more complicated than ours, over three different tasks.
• Abstract（参考訳）: データ拡張は、ニューラルネットワークの堅牢性を改善するための最も一般的なテクニックの1つである。 モデルを原サンプルと増補サンプルで直接訓練することに加え、原サンプルと増補サンプルの埋め込み/表現の距離を規則化する手法が数多く導入されている。 本稿では,これら様々な規則化の選択について検討し,埋め込みをどのように規則化するべきかの理解を深める。 我々の分析は、正規化の理想的な選択は様々な仮定に対応することを示唆している。 不変性テストでは、非正規化アプローチは等しく高い精度にもかかわらず不変性の概念を学ぶのに限られるため、モデルが精度駆動的な設定よりも広い文脈で使用される場合、正規化は重要であると論じる。 最後に、我々が識別した一般的なアプローチ($\ell_2$ norm正規化拡張の2乗)は、3つの異なるタスクよりも非常に複雑で、1つのタスクのために特別に設計された最近のメソッドよりも優れていることも示します。

関連論文リスト

• ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [1.194799054956877]
  高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。 問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
  論文  参考訳（メタデータ） (2024-06-17T15:50:00Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Muddling Labels for Regularization, a novel approach to generalization [0.0]
  一般化は機械学習の中心的な問題である。 本稿では,データ分割のない一般化を実現する新しい手法を提案する。 これはモデルが過度に適合する傾向を直接定量化する新しいリスク尺度に基づいている。
  論文  参考訳（メタデータ） (2021-02-17T14:02:30Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。