論文の概要: DADA: Differentiable Automatic Data Augmentation

• arxiv url: http://arxiv.org/abs/2003.03780v3
• Date: Thu, 30 Jul 2020 14:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 14:07:44.123714
• Title: DADA: Differentiable Automatic Data Augmentation
• Title（参考訳）: DADA: 微分可能な自動データ拡張
• Authors: Yonggang Li and Guosheng Hu and Yongtao Wang and Timothy Hospedales and Neil M. Robertson and Yongxin Yang
• Abstract要約: コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
• 参考スコア（独自算出の注目度）: 58.560309490774976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation (DA) techniques aim to increase data variability, and thus train deep networks with better generalisation. The pioneering AutoAugment automated the search for optimal DA policies with reinforcement learning. However, AutoAugment is extremely computationally expensive, limiting its wide applicability. Followup works such as Population Based Augmentation (PBA) and Fast AutoAugment improved efficiency, but their optimization speed remains a bottleneck. In this paper, we propose Differentiable Automatic Data Augmentation (DADA) which dramatically reduces the cost. DADA relaxes the discrete DA policy selection to a differentiable optimization problem via Gumbel-Softmax. In addition, we introduce an unbiased gradient estimator, RELAX, leading to an efficient and effective one-pass optimization strategy to learn an efficient and accurate DA policy. We conduct extensive experiments on CIFAR-10, CIFAR-100, SVHN, and ImageNet datasets. Furthermore, we demonstrate the value of Auto DA in pre-training for downstream detection problems. Results show our DADA is at least one order of magnitude faster than the state-of-the-art while achieving very comparable accuracy. The code is available at https://github.com/VDIGPKU/DADA.
• Abstract（参考訳）: データ拡張(DA)技術は、データの多様性の向上を目的としており、より一般化したディープネットワークを訓練する。 先駆的なAutoAugmentは、強化学習による最適なDAポリシーの検索を自動化した。 しかしAutoAugmentは計算コストが非常に高く、適用範囲が限られている。 Population Based Augmentation (PBA)やFast AutoAugmentといったフォローアップ作業は効率を向上するが、その最適化速度はボトルネックのままである。 本稿では,コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 DADAは離散DAポリシーの選択をGumbel-Softmaxを介して微分可能な最適化問題に緩和する。 さらに、非バイアス勾配推定器RELAXを導入し、効率よく正確なDAポリシーを学習するための効率的なワンパス最適化戦略を実現する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 さらに,下流検出問題に対する事前学習におけるAuto DAの有効性を示す。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。 コードはhttps://github.com/vdigpku/dadaで入手できる。

関連論文リスト

• AutoFT: Learning an Objective for Robust Fine-Tuning [60.641186718253735]
  ファンデーションモデルは、微調整によって下流タスクに適応できるリッチな表現をエンコードする。 手作り正則化技術を用いた頑健な微調整への最近のアプローチ 我々は、堅牢な微調整のためのデータ駆動型アプローチであるAutoFTを提案する。
  論文  参考訳（メタデータ） (2024-01-18T18:58:49Z)
• AROID: Improving Adversarial Robustness Through Online Instance-Wise Data Augmentation [6.625868719336385]
  対戦訓練(英語: Adversarial Training、AT)は、敵の例に対する効果的な防御である。 データ拡張(DA)は、AT向けに適切に設計され最適化された場合、ロバストなオーバーフィッティングの軽減に有効であることが示されている。 本研究は、ATの堅牢な一般化を改善するために、オンライン、例えばDAポリシーを自動的に学習する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:54:52Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• VSAC: Efficient and Accurate Estimator for H and F [68.65610177368617]
  VSACはRANSAC型頑健な推定器であり、多くの新奇性がある。 従来のすべてのプロセッサよりも大幅に高速で、CPU上では平均1-2msで動作する。 現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
  論文  参考訳（メタデータ） (2021-06-18T17:04:57Z)
• Direct Differentiable Augmentation Search [25.177623230408656]
  Direct Differentiable Augmentation Search (DDAS) と呼ばれる効率的な微分可能探索アルゴリズムを提案する。 1ステップの勾配更新と連続リラクゼーションでメタラーニングを活用し、期待されるトレーニング損失を有効活用し、効率的な検索を行う。 DDASは,検索コストを劇的に削減しつつ,最先端の性能と効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2021-04-09T10:02:24Z)
• AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation [3.118384520557952]
  AutoAugmentはディープラーニングモデルに対する自動拡張手法への関心を呼び起こした。 バイアスデータやノイズデータに適用した場合,これらの手法は堅牢ではないことを示す。 AutoAugmentを汎用的な自動データセット最適化(AutoDO)タスクとして再構成します。 従来の手法と比較して,ラベルノイズのあるバイアス付きデータセットは最大9.3%改善した。
  論文  参考訳（メタデータ） (2021-03-10T04:05:33Z)
• Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
  自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
  論文  参考訳（メタデータ） (2020-09-30T15:23:12Z)
• Efficient Sampling-Based Maximum Entropy Inverse Reinforcement Learning with Application to Autonomous Driving [35.44498286245894]
  本稿では,効率的なサンプリングに基づく最大エントロピー逆強化学習(IRL)アルゴリズムを提案する。 提案アルゴリズムは,非対話的シナリオと対話的シナリオの両方を含む実運転データに基づいて評価する。
  論文  参考訳（メタデータ） (2020-06-22T01:41:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。