論文の概要: FocusFormer: Focusing on What We Need via Architecture Sampler
- arxiv url: http://arxiv.org/abs/2208.10861v1
- Date: Tue, 23 Aug 2022 10:42:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 12:19:34.054597
- Title: FocusFormer: Focusing on What We Need via Architecture Sampler
- Title（参考訳）: focusformer:architecture samplerで必要なものにフォーカスする
- Authors: Jing Liu, Jianfei Cai, Bohan Zhuang
- Abstract要約: ビジョントランスフォーマー(ViT)はコンピュータビジョンの最近のブレークスルーを支えている。
ワンショットのニューラルアーキテクチャ検索は、さまざまなデプロイメントシナリオのためのスーパーネットトレーニングとアーキテクチャ専門化を分離する。
このようなギャップを埋めるために、FocusFormerと呼ばれるシンプルで効果的な手法を考案する。
- 参考スコア（独自算出の注目度）: 45.150346855368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers (ViTs) have underpinned the recent breakthroughs in
computer vision. However, designing the architectures of ViTs is laborious and
heavily relies on expert knowledge. To automate the design process and
incorporate deployment flexibility, one-shot neural architecture search
decouples the supernet training and architecture specialization for diverse
deployment scenarios. To cope with an enormous number of sub-networks in the
supernet, existing methods treat all architectures equally important and
randomly sample some of them in each update step during training. During
architecture search, these methods focus on finding architectures on the Pareto
frontier of performance and resource consumption, which forms a gap between
training and deployment. In this paper, we devise a simple yet effective
method, called FocusFormer, to bridge such a gap. To this end, we propose to
learn an architecture sampler to assign higher sampling probabilities to those
architectures on the Pareto frontier under different resource constraints
during supernet training, making them sufficiently optimized and hence
improving their performance. During specialization, we can directly use the
well-trained architecture sampler to obtain accurate architectures satisfying
the given resource constraint, which significantly improves the search
efficiency. Extensive experiments on CIFAR-100 and ImageNet show that our
FocusFormer is able to improve the performance of the searched architectures
while significantly reducing the search cost. For example, on ImageNet, our
FocusFormer-Ti with 1.4G FLOPs outperforms AutoFormer-Ti by 0.5% in terms of
the Top-1 accuracy.
- Abstract（参考訳）: ビジョントランスフォーマー(ViT)はコンピュータビジョンの最近のブレークスルーを支えている。
しかし、ViTのアーキテクチャの設計は精力的で、専門家の知識に大きく依存している。
設計プロセスを自動化し、デプロイの柔軟性を取り入れるために、ワンショットニューラルネットワークは、さまざまなデプロイメントシナリオのためのスーパーネットトレーニングとアーキテクチャ専門化を分離する。
スーパーネットの膨大な数のサブネットワークに対処するため、既存の手法では、すべてのアーキテクチャを等しく重要扱い、トレーニング中の各更新ステップでランダムにサンプルする。
アーキテクチャ検索の間、これらの手法は、パフォーマンスとリソース消費のParetoフロンティアにあるアーキテクチャを見つけることに重点を置いている。
本稿では,そのようなギャップを橋渡しするために,単純かつ効果的なfocusformer法を考案する。
この目的のために,スーパーネットトレーニング中に異なるリソース制約の下で,Paretoフロンティアのアーキテクチャに高いサンプリング確率を割り当てるアーキテクチャサンプルを学習し,十分な最適化と性能の向上を図ることを提案する。
専門化の過程では、よく訓練されたアーキテクチャサンプルを用いて、与えられたリソース制約を満たす正確なアーキテクチャを得ることができ、探索効率が大幅に向上する。
CIFAR-100とImageNetの大規模な実験により、FocusFormerは検索したアーキテクチャの性能を改善しつつ、検索コストを大幅に削減できることがわかった。
たとえばImageNetでは、1.4GのFLOPを持つFocusFormer-Tiが、Top-1の精度でAutoFormer-Tiを0.5%上回っている。
関連論文リスト
- Building Optimal Neural Architectures using Interpretable Knowledge [15.66288233048004]
AutoBuildは、オペレーションとアーキテクチャモジュールの潜伏した埋め込みと、それらが現れるアーキテクチャの地味なパフォーマンスを整合させるスキームである。
比較的少数の評価済みアーキテクチャをマイニングすることで、AutoBuildは高品質なアーキテクチャを直接構築するか、あるいは検索スペースを減らして関連分野に集中できることを示す。
論文 参考訳（メタデータ） (2024-03-20T04:18:38Z) - POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image
and Time Series Classification [8.190723030003804]
本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。
提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。
画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:14:14Z) - Pareto-aware Neural Architecture Generation for Diverse Computational
Budgets [94.27982238384847]
既存の手法は、しばしば各目標予算に対して独立したアーキテクチャ探索プロセスを実行する。
提案するニューラルアーキテクチャジェネレータ(PNAG)は,任意の予算に対して,推論によって最適なアーキテクチャを動的に生成する。
このような共同探索アルゴリズムは、全体の検索コストを大幅に削減するだけでなく、結果も改善する。
論文 参考訳（メタデータ） (2022-10-14T08:30:59Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。
従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。
本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T00:54:27Z) - CHASE: Robust Visual Tracking via Cell-Level Differentiable Neural
Architecture Search [14.702573109803307]
トラッキングモジュールのネットワーク設計を自動化する新しいセルレベル微分可能なアーキテクチャ探索機構を提案する。
提案手法は単純で効率的であり、ネットワークを構築するために一連のモジュールを積み重ねる必要がない。
我々の手法は既存のトラッカーに組み込むことが簡単であり、異なるアーキテクチャ検索手法と追跡対象を用いて実証的に検証されている。
論文 参考訳（メタデータ） (2021-07-02T15:16:45Z) - Pareto-Frontier-aware Neural Architecture Generation for Diverse Budgets [93.79297053429447]
既存の手法は、しばしばそれぞれの目標予算を独立したアーキテクチャで検索する。
モデル推論のみで任意の予算で効率的なアーキテクチャを自動生成する汎用アーキテクチャ生成器を提案する。
3つのプラットフォーム(モバイル、CPU、GPUなど)における広範な実験は、提案手法が既存のNAS法よりも優れていることを示している。
論文 参考訳（メタデータ） (2021-02-27T13:59:17Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。