論文の概要: Hypernetwork-Based Augmentation

• arxiv url: http://arxiv.org/abs/2006.06320v2
• Date: Thu, 7 Oct 2021 02:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 12:57:50.850863
• Title: Hypernetwork-Based Augmentation
• Title（参考訳）: ハイパーネットワークに基づく拡張
• Authors: Chih-Yang Chen and Che-Han Chang
• Abstract要約: 我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
• 参考スコア（独自算出の注目度）: 1.6752182911522517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data augmentation is an effective technique to improve the generalization of deep neural networks. Recently, AutoAugment proposed a well-designed search space and a search algorithm that automatically finds augmentation policies in a data-driven manner. However, AutoAugment is computationally intensive. In this paper, we propose an efficient gradient-based search algorithm, called Hypernetwork-Based Augmentation (HBA), which simultaneously learns model parameters and augmentation hyperparameters in a single training. Our HBA uses a hypernetwork to approximate a population-based training algorithm, which enables us to tune augmentation hyperparameters by gradient descent. Besides, we introduce a weight sharing strategy that simplifies our hypernetwork architecture and speeds up our search algorithm. We conduct experiments on CIFAR-10, CIFAR-100, SVHN, and ImageNet. Our results show that HBA is competitive to the state-of-the-art methods in terms of both search speed and accuracy.
• Abstract（参考訳）: データ拡張は、ディープニューラルネットワークの一般化を改善する効果的なテクニックである。 近年、AutoAugmentは、データ駆動方式で拡張ポリシーを自動的に発見する、よく設計された検索空間と検索アルゴリズムを提案する。 しかし、AutoAugmentは計算集約的である。 本稿では,1つの学習でモデルパラメータと拡張ハイパーパラメータを同時に学習する,hba(hypernetwork-based augmentation)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 我々のHBAはハイパーネットワークを用いて人口ベーストレーニングアルゴリズムを近似し、勾配降下による拡張ハイパーパラメータのチューニングを可能にする。 さらに,ハイパーネットワークアーキテクチャを単純化し,検索アルゴリズムを高速化する重み付け戦略を導入する。 CIFAR-10, CIFAR-100, SVHN, ImageNetについて実験を行った。 その結果,HBAは検索速度と精度の両面で最先端の手法と競合していることがわかった。

関連論文リスト

• Automatic tuning of hyper-parameters of reinforcement learning algorithms using Bayesian optimization with behavioral cloning [0.0]
  強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。 本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。 実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
  論文  参考訳（メタデータ） (2021-12-15T13:10:44Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Genealogical Population-Based Training for Hyperparameter Optimization [1.0514231683620516]
  本研究では,計算コストの2倍から3倍に削減できることを実験的に実証した。 本手法は探索アルゴリズムであり,内部探索ルーチンをTPE,GP,CMA,ランダム探索などの任意の探索アルゴリズムにすることができる。
  論文  参考訳（メタデータ） (2021-09-30T08:49:41Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
  HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。 生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。 既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
  論文  参考訳（メタデータ） (2020-05-21T08:56:50Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)
• Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters [3.37314595161109]
  本稿では,データから対応するハイパーパラメータへのマッピングに基づく,効率的な自動パラメータ最適化手法を提案する。 提案手法は最先端のアポラッチを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-03-03T19:26:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。