論文の概要: Tied-Augment: Controlling Representation Similarity Improves Data Augmentation

• arxiv url: http://arxiv.org/abs/2305.13520v1
• Date: Mon, 22 May 2023 22:23:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 20:19:48.851593
• Title: Tied-Augment: Controlling Representation Similarity Improves Data Augmentation
• Title（参考訳）: Tied-Augment: データ拡張を改善する表現類似性制御
• Authors: Emirhan Kurtulus, Zichao Li, Yann Dauphin, Ekin Dogus Cubuk
• Abstract要約: 我々は、広範囲のアプリケーションでデータ拡張を改善するため、Tied-Augmentと呼ばれるフレームワークを提案する。 Tied-Augmentは、データ拡張(RandAugment、mixupなど)、最適化(SAMなど)、半教師付き学習(FixMatchなど)から最先端の手法を改善することができる。
• 参考スコア（独自算出の注目度）: 18.446051824487792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data augmentation methods have played an important role in the recent advance of deep learning models, and have become an indispensable component of state-of-the-art models in semi-supervised, self-supervised, and supervised training for vision. Despite incurring no additional latency at test time, data augmentation often requires more epochs of training to be effective. For example, even the simple flips-and-crops augmentation requires training for more than 5 epochs to improve performance, whereas RandAugment requires more than 90 epochs. We propose a general framework called Tied-Augment, which improves the efficacy of data augmentation in a wide range of applications by adding a simple term to the loss that can control the similarity of representations under distortions. Tied-Augment can improve state-of-the-art methods from data augmentation (e.g. RandAugment, mixup), optimization (e.g. SAM), and semi-supervised learning (e.g. FixMatch). For example, Tied-RandAugment can outperform RandAugment by 2.0% on ImageNet. Notably, using Tied-Augment, data augmentation can be made to improve generalization even when training for a few epochs and when fine-tuning. We open source our code at https://github.com/ekurtulus/tied-augment/tree/main.
• Abstract（参考訳）: 近年の深層学習モデルの進展においてデータ拡張手法は重要な役割を担い、半教師付き、自己監督型、教師付き視覚訓練における最先端モデルの必須要素となっている。 テスト時に追加のレイテンシは発生しないが、データ拡張は、効果的なトレーニングのエポックさを必要とすることが多い。 例えば、単純なフリップ・アンド・クロップス拡張でさえ、パフォーマンスを改善するために5エポック以上のトレーニングが必要であり、一方ランダウメントは90エポック以上を必要とする。 本稿では, 歪み下での表現の類似性を制御するために, 損失に単純な項を追加することで, 幅広いアプリケーションにおけるデータ拡張の有効性を向上するTied-Augmentという一般的なフレームワークを提案する。 Tied-Augmentは、データ拡張(RandAugment、mixup)、最適化(SAMなど)、半教師付き学習(FixMatchなど)から最先端の手法を改善することができる。 例えば、Tied-RandAugmentはImageNetでRandAugmentを2.0%上回る。 特に、データ拡張は、数エポックのトレーニングや微調整を行う場合であっても、一般化を改善することができる。 私たちはコードをhttps://github.com/ekurtulus/tied-augment/tree/mainでオープンソースにしました。

関連論文リスト

• Fourier-basis Functions to Bridge Augmentation Gap: Rethinking Frequency Augmentation in Image Classification [3.129187821625805]
  AFA(Auxiliary Fourier-Basis Augmentation)は、周波数領域の増大を狙った技法であり、視覚的な拡張によって残された拡張ギャップを埋めるものである。 以上の結果から,AFAは,一般的な汚職に対するモデルの堅牢性,OODの一般化,モデルの性能の整合性,摂動の増大に対するモデルの性能の整合性,モデルの標準性能に対する無視的欠陥に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-03-04T11:30:02Z)
• DualAug: Exploiting Additional Heavy Augmentation with OOD Data Rejection [77.6648187359111]
  そこで本稿では,textbfDualAug という新しいデータ拡張手法を提案する。 教師付き画像分類ベンチマークの実験では、DualAugは様々な自動データ拡張法を改善している。
  論文  参考訳（メタデータ） (2023-10-12T08:55:10Z)
• Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
  DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。 DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。 また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-16T22:45:43Z)
• Soft Augmentation for Image Classification [68.71067594724663]
  本稿では,変分変換による拡張の一般化とソフト拡張を提案する。 ソフトターゲットは、より攻撃的なデータ拡張を可能にすることを示す。 また,ソフト拡張が自己教師付き分類タスクに一般化されることも示している。
  論文  参考訳（メタデータ） (2022-11-09T01:04:06Z)
• Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
  AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。 私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
  論文  参考訳（メタデータ） (2021-11-18T10:43:50Z)
• InAugment: Improving Classifiers via Internal Augmentation [14.281619356571724]
  本稿では,画像内部統計を活用した新しい拡張操作を提案する。 最先端の増補技術による改善を示す。 また,imagenetデータセット上では,resnet50 と efficientnet-b3 top-1 の精度も向上している。
  論文  参考訳（メタデータ） (2021-04-08T15:37:21Z)
• Time Matters in Using Data Augmentation for Vision-based Deep Reinforcement Learning [4.921588282642753]
  増量を使用するタイミングは、トレーニングやテストで解決すべきタスクによって重要になります。 増員によって課される正規化がテストにのみ役立つ場合、サンプルと計算の複雑さの観点からトレーニング中に使用するよりも、トレーニング後の増員を推し進める方がよい。
  論文  参考訳（メタデータ） (2021-02-17T05:22:34Z)
• Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation [79.47771259100674]
  データ拡張のための2つのサンプル適応自動重み付けスキームを提案する。 提案手法を大規模でノイズの多い財務データセットとUCRアーカイブからの時系列データセット上で検証する。 金融データセットでは、取引戦略と組み合わせた手法が50 $%$以上の年間収益の改善につながることを示し、時系列データでは、データセットの半分以上で最新モデルを上回るパフォーマンスを発揮し、他のものと同様の精度を達成しています。
  論文  参考訳（メタデータ） (2021-02-16T17:50:51Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。