論文の概要: Direct Differentiable Augmentation Search

• arxiv url: http://arxiv.org/abs/2104.04282v1
• Date: Fri, 9 Apr 2021 10:02:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:12:09.062235
• Title: Direct Differentiable Augmentation Search
• Title（参考訳）: 直接微分可能拡張探索
• Authors: Aoming Liu, Zehao Huang, Zhiwu Huang, Naiyan Wang
• Abstract要約: Direct Differentiable Augmentation Search (DDAS) と呼ばれる効率的な微分可能探索アルゴリズムを提案する。 1ステップの勾配更新と連続リラクゼーションでメタラーニングを活用し、期待されるトレーニング損失を有効活用し、効率的な検索を行う。 DDASは,検索コストを劇的に削減しつつ,最先端の性能と効率のトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 25.177623230408656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation has been an indispensable tool to improve the performance of deep neural networks, however the augmentation can hardly transfer among different tasks and datasets. Consequently, a recent trend is to adopt AutoML technique to learn proper augmentation policy without extensive hand-crafted tuning. In this paper, we propose an efficient differentiable search algorithm called Direct Differentiable Augmentation Search (DDAS). It exploits meta-learning with one-step gradient update and continuous relaxation to the expected training loss for efficient search. Our DDAS can achieve efficient augmentation search without relying on approximations such as Gumbel Softmax or second order gradient approximation. To further reduce the adverse effect of improper augmentations, we organize the search space into a two level hierarchy, in which we first decide whether to apply augmentation, and then determine the specific augmentation policy. On standard image classification benchmarks, our DDAS achieves state-of-the-art performance and efficiency tradeoff while reducing the search cost dramatically, e.g. 0.15 GPU hours for CIFAR-10. In addition, we also use DDAS to search augmentation for object detection task and achieve comparable performance with AutoAugment, while being 1000x faster.
• Abstract（参考訳）: データ拡張はディープニューラルネットワークのパフォーマンスを改善するために必須のツールであるが、拡張は異なるタスクやデータセット間ではほとんど転送できない。 その結果、手作りの広範囲なチューニングを伴わずに、適切な拡張ポリシーを学ぶためにAutoML技術を採用する傾向がある。 本稿では,DDAS (Direct Differentiable Augmentation Search) という,効率的な微分可能探索アルゴリズムを提案する。 1ステップの勾配更新と連続リラクゼーションでメタラーニングを活用し、期待されるトレーニング損失を有効活用し、効率的な検索を行う。 我々のDDASは,Gumbel Softmaxや2次勾配近似などの近似に頼ることなく,効率的な拡張探索を実現することができる。 さらに,不適切な増補の悪影響を低減するため,探索空間を2段階階層に整理し,まず増補を適用すべきか否かを判断し,その具体的な増補方針を決定する。 標準的な画像分類ベンチマークでは、DDASは検索コストを劇的に削減しつつ、最先端の性能と効率のトレードオフを達成する。 CIFAR-10の0.15GPU時間。 さらに、オブジェクト検出タスクの強化を検索するためにddasを使用し、1000倍高速で、autoaugmentと同等のパフォーマンスを実現しています。

関連論文リスト

• DiffNAS: Bootstrapping Diffusion Models by Prompting for Better Architectures [63.12993314908957]
  そこで我々は,DiffNASと呼ばれるベースモデル探索手法を提案する。 GPT-4をスーパーネットとして利用して検索を高速化し,検索メモリを補足して結果を向上する。 厳密な実験により,GPTに基づくシナリオでは,探索効率を2倍に向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-07T09:10:28Z)
• RangeAugment: Efficient Online Augmentation with Range Learning [54.61514286212455]
  RangeAugmentは、個々の大きさと複合オーグメンテーション操作を効率よく学習する。 本研究では,RangeAugmentの4～5倍の精度で,最先端自動拡張手法の競争性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:55:54Z)
• Deep AutoAugment [22.25911903722286]
  我々はDeep AutoAugment(DeepAA)というデータ拡張検索のための完全自動化手法を提案する。 DeepAAは、収束に到達するまで、一度に1つの増層レイヤを積み重ねることで、スクラッチから多層データ拡張パイプラインを構築する。 実験の結果, 既定の増補がなくても, 従来よりも高い性能を達成した増補政策を学習できることが判明した。
  論文  参考訳（メタデータ） (2022-03-11T18:57:27Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Scale-aware Automatic Augmentation for Object Detection [63.087930708444695]
  オブジェクト検出のためのデータ拡張ポリシーを学ぶために,Scale-aware AutoAugを提案する。 実験では、Scale-aware AutoAugはさまざまな物体検出器に有意で一貫した改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-31T17:11:14Z)
• Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
  自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
  論文  参考訳（メタデータ） (2020-09-30T15:23:12Z)
• Hypernetwork-Based Augmentation [1.6752182911522517]
  我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
  論文  参考訳（メタデータ） (2020-06-11T10:36:39Z)
• UniformAugment: A Search-free Probabilistic Data Augmentation Approach [0.019573380763700708]
  トレーニングデータセットの増強は、コンピュータビジョンタスクの学習効率を向上させることが示されている。 AutoAugmentやFast AutoAugmentといったいくつかのテクニックは、適切な拡張ポリシーのセットを見つけるための検索フェーズを導入している。 検索フェーズを完全に回避する自動データ拡張手法であるUniformAugmentを提案する。
  論文  参考訳（メタデータ） (2020-03-31T16:32:18Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。