論文の概要: NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of Models

• arxiv url: http://arxiv.org/abs/2108.03434v1
• Date: Sat, 7 Aug 2021 12:03:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-10 15:50:10.214949
• Title: NASOA: Towards Faster Task-oriented Online Fine-tuning with a Zoo of Models
• Title（参考訳）: NASOA: モデル動物園によるタスク指向オンラインファインチューニングの高速化を目指す
• Authors: Hang Xu, Ning Kang, Gengwei Zhang, Chuanlong Xie, Xiaodan Liang, Zhenguo Li
• Abstract要約: 事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクに対して単純で効果的で一般的なアプローチである。 我々は,タスク指向のより高速な微調整を実現するため,NASOAというニューラルアーキテクチャ検索とオンライン適応フレームワークを共同で提案する。
• 参考スコア（独自算出の注目度）: 90.6485663020735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning from pre-trained ImageNet models has been a simple, effective, and popular approach for various computer vision tasks. The common practice of fine-tuning is to adopt a default hyperparameter setting with a fixed pre-trained model, while both of them are not optimized for specific tasks and time constraints. Moreover, in cloud computing or GPU clusters where the tasks arrive sequentially in a stream, faster online fine-tuning is a more desired and realistic strategy for saving money, energy consumption, and CO2 emission. In this paper, we propose a joint Neural Architecture Search and Online Adaption framework named NASOA towards a faster task-oriented fine-tuning upon the request of users. Specifically, NASOA first adopts an offline NAS to identify a group of training-efficient networks to form a pretrained model zoo. We propose a novel joint block and macro-level search space to enable a flexible and efficient search. Then, by estimating fine-tuning performance via an adaptive model by accumulating experience from the past tasks, an online schedule generator is proposed to pick up the most suitable model and generate a personalized training regime with respect to each desired task in a one-shot fashion. The resulting model zoo is more training efficient than SOTA models, e.g. 6x faster than RegNetY-16GF, and 1.7x faster than EfficientNetB3. Experiments on multiple datasets also show that NASOA achieves much better fine-tuning results, i.e. improving around 2.1% accuracy than the best performance in RegNet series under various constraints and tasks; 40x faster compared to the BOHB.
• Abstract（参考訳）: 事前訓練されたimagenetモデルの微調整は、様々なコンピュータビジョンタスクに対してシンプルで効果的で人気のあるアプローチである。 微調整の一般的な実践は、固定された事前訓練モデルによるデフォルトのハイパーパラメータ設定を採用することであるが、どちらも特定のタスクや時間制約に最適化されていない。 さらに、タスクがストリームに順次到着するクラウドコンピューティングやGPUクラスタでは、より高速なオンライン微調整が、お金、エネルギー消費、CO2排出量を節約するためのより望ましい、現実的な戦略です。 本稿では,NASOA というニューラルアーキテクチャ検索とオンライン適応フレームワークを,ユーザの要求に応じてより高速なタスク指向の微調整のために提案する。 具体的には、NASOAはまずオフラインのNASを採用し、トレーニング効率の良いネットワークのグループを特定し、事前訓練されたモデル動物園を形成する。 フレキシブルで効率的な探索を実現するために,新しい結合ブロックとマクロレベルの探索空間を提案する。 そして、過去の課題から経験を蓄積して適応モデルによる微調整性能を推定することにより、最も適したモデルをピックアップし、目的のタスクごとに一発でパーソナライズされたトレーニング体制を生成するオンラインスケジュール生成器を提案する。 結果のモデル動物園は、例えばSOTAモデルよりも訓練効率が高い。 RegNetY-16GFより1.6倍、EfficientNetB3より1.7倍速い。 複数のデータセットの実験でも、NASOAはより優れた微調整結果、すなわち、はるかに優れた結果が得られることが示されている。 様々な制約とタスクの下でRegNetシリーズの最高のパフォーマンスよりも約2.1%精度が向上した。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• HARL: Hierarchical Adaptive Reinforcement Learning Based Auto Scheduler for Neural Networks [51.71682428015139]
  効率的なテンソルプログラム探索のための強化学習に基づく自動スケジューリングシステムであるHARLを提案する。 HarLは、最先端のオートスケジューラと比較して、テンソル演算子の性能を22%改善し、探索速度を4.3倍改善する。 また、エンドツーエンドのニューラルネットワークでは、推論性能と探索速度も大幅に向上する。
  論文  参考訳（メタデータ） (2022-11-21T04:15:27Z)
• FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
  FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。 本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
  論文  参考訳（メタデータ） (2022-06-17T11:16:28Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling [39.58754758581108]
  2段階のニューラルネットワーク探索(NAS)は、顕著な精度と効率を達成する。 2段階のNASは、トレーニング中に探索空間からのサンプリングを必要とし、最終的な探索モデルの精度に直接影響を及ぼす。 本稿では,より優れたパレートを実現するため,サンプリング戦略の改善に焦点を当てたAttentiveNASを提案する。 発見されたモデルファミリであるAttentiveNASは、ImageNet上で77.3%から80.7%の精度でトップ1の精度を実現し、BigNASやOne-for-Allネットワークを含むSOTAモデルより優れています。
  論文  参考訳（メタデータ） (2020-11-18T00:15:23Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。