論文の概要: Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation

• arxiv url: http://arxiv.org/abs/2206.01909v1
• Date: Sat, 4 Jun 2022 04:29:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-12 12:42:52.479279
• Title: Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation
• Title（参考訳）: 正規化とデータ拡張によるロバスト・不変表現の学習に向けて
• Authors: Haohan Wang, Zeyi Huang, Xindi Wu, Eric P. Xing
• Abstract要約: 本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
• 参考スコア（独自算出の注目度）: 76.85274970052762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation has been proven to be an effective technique for developing machine learning models that are robust to known classes of distributional shifts (e.g., rotations of images), and alignment regularization is a technique often used together with data augmentation to further help the model learn representations invariant to the shifts used to augment the data. In this paper, motivated by a proliferation of options of alignment regularizations, we seek to evaluate the performances of several popular design choices along the dimensions of robustness and invariance, for which we introduce a new test procedure. Our synthetic experiment results speak to the benefits of squared l2 norm regularization. Further, we also formally analyze the behavior of alignment regularization to complement our empirical study under assumptions we consider realistic. Finally, we test this simple technique we identify (worst-case data augmentation with squared l2 norm alignment regularization) and show that the benefits of this method outrun those of the specially designed methods. We also release a software package in both TensorFlow and PyTorch for users to use the method with a couple of lines at https://github.com/jyanln/AlignReg.
• Abstract（参考訳）: データ拡張は、分散シフトの既知のクラス(例えば、画像の回転)に頑健な機械学習モデルを開発するための効果的な技術であることが証明されており、アライメント正規化は、データ拡張と一緒によく使用される技術であり、データ拡張に使用されるシフトに不変な表現をモデルが学習するのに役立つ。 本稿では,アライメント規則化の選択肢の増大に動機づけられ,ロバスト性と不変性という次元に沿って,いくつかの人気のある設計手法の性能評価を行い,新しいテスト手順を提案する。 合成実験の結果は, 2乗標準正規化の利点について述べる。 さらに,現実的と考えられる仮定の下で,アライメント正則化の挙動を解析し,実証的研究を補完する。 最後に,この単純な手法(正方形l2ノルムアライメント正規化を用いたworst-caseデータ拡張)をテストし,この手法の利点が特別に設計された手法よりも優れていることを示す。 また、TensorFlowとPyTorchの両方でソフトウェアパッケージをリリースし、https://github.com/jyanln/AlignReg.comで数行のメソッドを使用できるようにしました。

関連論文リスト

• Transducer Consistency Regularization for Speech to Text Applications [4.510630624936377]
  本稿では,トランスデューサモデルの整合正則化手法であるTransducer Consistency Regularization (TCR)を提案する。 作業確率を利用してトランスデューサ出力分布に異なる重みを与えるので、オラクルアライメントに近いアライメントのみがモデル学習に寄与する。 提案手法は他の整合正規化実装よりも優れていることを示すとともに,textscLibrispeechデータセットの強いベースラインと比較して,単語誤り率(WER)を4.3%削減できることを示した。
  論文  参考訳（メタデータ） (2024-10-09T23:53:13Z)
• Joint Distributional Learning via Cramer-Wold Distance [0.7614628596146602]
  高次元データセットの共分散学習を容易にするために,クレーマー-ウォルド距離正規化を導入し,クレーマー-ウォルド距離正規化法を提案する。 また、フレキシブルな事前モデリングを可能にする2段階学習手法を導入し、集約後と事前分布のアライメントを改善する。
  論文  参考訳（メタデータ） (2023-10-25T05:24:23Z)
• Single Domain Generalization via Normalised Cross-correlation Based Convolutions [14.306250516592304]
  単一ドメインの一般化は、単一のソースからのデータを使用して堅牢なモデルをトレーニングすることを目的としている。 本稿では、重みと入力特徴パッチの間の正規化相互相関を計算するXCNormという演算子を提案する。 この演算子で構成されるディープニューラルネットワークは、一般的な意味分布シフトに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-07-12T04:15:36Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Squared $\ell_2$ Norm as Consistency Loss for Leveraging Augmented Data to Learn Robust and Invariant Representations [76.85274970052762]
  元のサンプルと拡張されたサンプルの埋め込み/表現の距離を規則化することは、ニューラルネットワークの堅牢性を改善するための一般的なテクニックである。 本稿では、これらの様々な正規化選択について検討し、埋め込みの正規化方法の理解を深める。 私たちが特定したジェネリックアプローチ(squared $ell$ regularized augmentation)は、それぞれ1つのタスクのために特別に設計されたいくつかの手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-25T22:40:09Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。