論文の概要: Improving Auto-Augment via Augmentation-Wise Weight Sharing

• arxiv url: http://arxiv.org/abs/2009.14737v2
• Date: Thu, 22 Oct 2020 15:12:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 22:27:21.989818
• Title: Improving Auto-Augment via Augmentation-Wise Weight Sharing
• Title（参考訳）: Augmentation-Wise Weight SharingによるオートAugmentの改善
• Authors: Keyu Tian, Chen Lin, Ming Sun, Luping Zhou, Junjie Yan, Wanli Ouyang
• Abstract要約: 自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
• 参考スコア（独自算出の注目度）: 123.71986174280741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent progress on automatically searching augmentation policies has boosted the performance substantially for various tasks. A key component of automatic augmentation search is the evaluation process for a particular augmentation policy, which is utilized to return reward and usually runs thousands of times. A plain evaluation process, which includes full model training and validation, would be time-consuming. To achieve efficiency, many choose to sacrifice evaluation reliability for speed. In this paper, we dive into the dynamics of augmented training of the model. This inspires us to design a powerful and efficient proxy task based on the Augmentation-Wise Weight Sharing (AWS) to form a fast yet accurate evaluation process in an elegant way. Comprehensive analysis verifies the superiority of this approach in terms of effectiveness and efficiency. The augmentation policies found by our method achieve superior accuracies compared with existing auto-augmentation search methods. On CIFAR-10, we achieve a top-1 error rate of 1.24%, which is currently the best performing single model without extra training data. On ImageNet, we get a top-1 error rate of 20.36% for ResNet-50, which leads to 3.34% absolute error rate reduction over the baseline augmentation.
• Abstract（参考訳）: 自動拡張ポリシーの最近の進歩により、様々なタスクのパフォーマンスが大幅に向上した。 自動拡張検索の重要な要素は、報酬を返すために利用され、通常は何千回も実行される特定の拡張ポリシーの評価プロセスである。 完全なモデルトレーニングと検証を含む平易な評価プロセスは、時間がかかるでしょう。 効率を上げるために、多くの人は速度評価の信頼性を犠牲にする。 本稿では,モデルの強化トレーニングのダイナミクスについて考察する。 これにより、Augmentation-Wise Weight Sharing(AWS)に基づいた強力で効率的なプロキシタスクを設計して、高速かつ正確な評価プロセスをエレガントな方法で構築することが可能になるのです。 包括的な分析は、効果と効率の観点からこのアプローチの優位性を検証する。 提案手法は,既存の自動拡張検索法と比較して精度が優れている。 cifar-10では、トップ1エラー率1.24%を達成し、トレーニングデータなしでは、現在最もパフォーマンスの高いシングルモデルである。 ImageNetでは、ResNet-50でトップ-1エラー率20.36%を獲得し、ベースライン拡張で3.34%の絶対エラー率を削減した。

関連論文リスト

• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• LA3: Efficient Label-Aware AutoAugment [23.705059658590436]
  本稿では,ラベル情報を利用した新しい2段階データ拡張アルゴリズムであるラベル認識自動拡張(LA3)を提案する。 LA3は2つの学習段階から構成されており、第1段階ではラベルごとに個別の拡張手法を評価してランク付けする。 第2段階では、有効性の選択と相補的な増強から複合増強ポリシーを構築し、性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-04-20T13:42:18Z)
• Soft Augmentation for Image Classification [68.71067594724663]
  本稿では,変分変換による拡張の一般化とソフト拡張を提案する。 ソフトターゲットは、より攻撃的なデータ拡張を可能にすることを示す。 また,ソフト拡張が自己教師付き分類タスクに一般化されることも示している。
  論文  参考訳（メタデータ） (2022-11-09T01:04:06Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Reinforcement Learning in the Wild: Scalable RL Dispatching Algorithm Deployed in Ridehailing Marketplace [12.298997392937876]
  本研究では,強化学習に基づくリアルタイムディスパッチアルゴリズムを提案する。 ディディのA/Bテストの運営下にある複数の都市でオンラインに展開され、主要な国際市場の一つで展開されている。 デプロイされたアルゴリズムは、A/Bテストによるドライバーの総収入を1.3%以上改善している。
  論文  参考訳（メタデータ） (2022-02-10T16:07:17Z)
• Bag of Tricks for Adversarial Training [50.53525358778331]
  アドリアリトレーニングは、モデルの堅牢性を促進するための最も効果的な戦略の1つである。 最近のベンチマークでは、提案されたATの改良のほとんどは、単にトレーニング手順を早期に停止するよりも効果が低いことが示されている。
  論文  参考訳（メタデータ） (2020-10-01T15:03:51Z)
• Hypernetwork-Based Augmentation [1.6752182911522517]
  我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
  論文  参考訳（メタデータ） (2020-06-11T10:36:39Z)
• DADA: Differentiable Automatic Data Augmentation [58.560309490774976]
  コストを大幅に削減する微分可能自動データ拡張(DADA)を提案する。 CIFAR-10, CIFAR-100, SVHN, ImageNetのデータセットについて広範な実験を行った。 その結果,DADAは最先端技術よりも1桁以上高速であり,精度は極めて高いことがわかった。
  論文  参考訳（メタデータ） (2020-03-08T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。