論文の概要: Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS
- arxiv url: http://arxiv.org/abs/2305.01667v1
- Date: Tue, 2 May 2023 13:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-04 17:07:35.200506
- Title: Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS
- Title（参考訳）: GP-NASを用いた重ね合わせモデルによるNASマルチタスク予測
- Authors: Ke Zhang
- Abstract要約: オーバーフィッティングを克服するためにデータセットを分析してトレーニングする方法が、私たちが対処すべき中核的な問題です。
我々の積み重ねモデルはCVPR 2022トラック2チャレンジで1位にランクインした。
- 参考スコア（独自算出の注目度）: 1.819714933798177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurately predicting the performance of architecture with small sample
training is an important but not easy task. How to analysis and train dataset
to overcome overfitting is the core problem we should deal with. Meanwhile if
there is the mult-task problem, we should also think about if we can take
advantage of their correlation and estimate as fast as we can. In this track,
Super Network builds a search space based on ViT-Base. The search space contain
depth, num-heads, mpl-ratio and embed-dim. What we done firstly are
pre-processing the data based on our understanding of this problem which can
reduce complexity of problem and probability of over fitting. Then we tried
different kind of models and different way to combine them. Finally we choose
stacking ensemble models using GP-NAS with cross validation. Our stacking model
ranked 1st in CVPR 2022 Track 2 Challenge.
- Abstract（参考訳）: 小さなサンプルトレーニングでアーキテクチャのパフォーマンスを正確に予測することは重要だが、容易ではない。
オーバーフィッティングを克服するためのデータセットの分析とトレーニングは、私たちが対処すべき核となる問題です。
一方、マルチタスクの問題があれば、その相関を利用して可能な限り早く見積もることができるかどうかを考える必要がある。
このトラックでは、スーパーネットワークがvitベースに基づく検索空間を構築している。
検索スペースには深さ、numヘッド、mpl-ratio、embed-dimが含まれる。
まず、問題の複雑さとオーバーフィットの可能性を低減できるこの問題の理解に基づいて、データの事前処理を行いました。
そして、異なる種類のモデルと、それらを組み合わせる異なる方法を試しました。
最後に,GP-NASを用いた組立モデルを選択する。
我々の積み重ねモデルはCVPR 2022トラック2チャレンジで1位となった。
関連論文リスト
- Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。
本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。
VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
論文 参考訳（メタデータ） (2024-05-09T11:50:19Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Arch-Graph: Acyclic Architecture Relation Predictor for
Task-Transferable Neural Architecture Search [96.31315520244605]
Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。
Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。
わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2022-04-12T16:46:06Z) - Generalization Guarantees for Neural Architecture Search with
Train-Validation Split [48.265305046655996]
本稿では,列車検証分割の統計的側面について検討する。
リスクや高度勾配などの検証損失の洗練された特性は、真のテスト損失の指標であることを示す。
また、NAS、マルチカーネル学習、低ランク行列学習の厳密な接続も強調する。
論文 参考訳（メタデータ） (2021-04-29T06:11:00Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z) - BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage
Models [59.95091850331499]
予測精度を高めるためには,重みの処理後処理が必要であるという従来の知恵に挑戦するアプローチであるBigNASを提案する。
発見されたモデルファミリーであるBigNASModelsは76.5%から80.9%の範囲でトップ1の精度を達成した。
論文 参考訳（メタデータ） (2020-03-24T23:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。