論文の概要: On the Generalization Effects of Linear Transformations in Data Augmentation

• arxiv url: http://arxiv.org/abs/2005.00695v3
• Date: Wed, 26 Jul 2023 22:58:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 21:07:43.631760
• Title: On the Generalization Effects of Linear Transformations in Data Augmentation
• Title（参考訳）: データ拡張における線形変換の一般化効果について
• Authors: Sen Wu, Hongyang R. Zhang, Gregory Valiant, Christopher R\'e
• Abstract要約: データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。 我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。 本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
• 参考スコア（独自算出の注目度）: 32.01435459892255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation is a powerful technique to improve performance in applications such as image and text classification tasks. Yet, there is little rigorous understanding of why and how various augmentations work. In this work, we consider a family of linear transformations and study their effects on the ridge estimator in an over-parametrized linear regression setting. First, we show that transformations that preserve the labels of the data can improve estimation by enlarging the span of the training data. Second, we show that transformations that mix data can improve estimation by playing a regularization effect. Finally, we validate our theoretical insights on MNIST. Based on the insights, we propose an augmentation scheme that searches over the space of transformations by how uncertain the model is about the transformed data. We validate our proposed scheme on image and text datasets. For example, our method outperforms random sampling methods by 1.24% on CIFAR-100 using Wide-ResNet-28-10. Furthermore, we achieve comparable accuracy to the SoTA Adversarial AutoAugment on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets.
• Abstract（参考訳）: データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善する強力な技術である。 しかし、なぜ、どのように様々な拡張が機能するのかについての厳密な理解はほとんどない。 本研究では,線形変換の族を考察し,過パラメータ線形回帰設定におけるリッジ推定器への影響について検討する。 まず,データのラベルを保存する変換は,トレーニングデータのスパンを広げることで,推定を改善できることを示す。 第二に、データを混合する変換が正規化効果を奏でることで推定を改善できることを示す。 最後に,MNISTに関する理論的知見を検証した。 そこで本研究では,モデルが変換データに対してどの程度不確実かによって,変換空間を探索する拡張手法を提案する。 提案手法を画像およびテキストデータセット上で検証する。 例えば,open-resnet-28-10を用いたcifar-100では,ランダムサンプリング法を1.24%上回った。 さらに、CIFAR-10, CIFAR-100, SVHN, ImageNetデータセット上のSoTA Adversarial AutoAugmentに匹敵する精度を実現する。

関連論文リスト

• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Optimizing transformations for contrastive learning in a differentiable framework [4.828899860513713]
  本稿では,微分可能変換ネットワークを用いたコントラスト学習のための最適変換手法を提案する。 本手法は,教師の精度と収束速度の両方において,低アノテートデータ方式の性能を向上させる。 34000枚の脳磁気共鳴画像と11200枚の胸部X線画像を用いて実験を行った。
  論文  参考訳（メタデータ） (2022-07-27T08:47:57Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Improving Model Generalization by Agreement of Learned Representations from Data Augmentation [19.286766429954174]
  コンピュータビジョンでは、CutOut、MixUp、CutMixといったデータ拡張技術が最先端(SOTA)の結果を示した。 我々は提案したメソッド合意の最大化あるいは単にAgMaxと呼ぶ。 我々は、AgMaxがデータ拡張の利点を生かし、モデル一般化を大幅なマージンで継続的に改善できることを示します。
  論文  参考訳（メタデータ） (2021-10-20T12:44:52Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)
• Learning Representational Invariances for Data-Efficient Action Recognition [52.23716087656834]
  我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。 また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
  論文  参考訳（メタデータ） (2021-03-30T17:59:49Z)
• Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation [79.47771259100674]
  データ拡張のための2つのサンプル適応自動重み付けスキームを提案する。 提案手法を大規模でノイズの多い財務データセットとUCRアーカイブからの時系列データセット上で検証する。 金融データセットでは、取引戦略と組み合わせた手法が50 $%$以上の年間収益の改善につながることを示し、時系列データでは、データセットの半分以上で最新モデルを上回るパフォーマンスを発揮し、他のものと同様の精度を達成しています。
  論文  参考訳（メタデータ） (2021-02-16T17:50:51Z)
• Augmentation Inside the Network [1.5260179407438161]
  本稿では,コンピュータビジョン問題に対するデータ拡張手法をシミュレートする手法であるネットワーク内の拡張について述べる。 本稿では,画像分類のためのImageNet-2012およびCIFAR-100データセットについて検証する。
  論文  参考訳（メタデータ） (2020-12-19T20:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。