論文の概要: Auto-Prox: Training-Free Vision Transformer Architecture Search via Automatic Proxy Discovery

• arxiv url: http://arxiv.org/abs/2312.09059v1
• Date: Thu, 14 Dec 2023 15:55:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 21:14:47.052596
• Title: Auto-Prox: Training-Free Vision Transformer Architecture Search via Automatic Proxy Discovery
• Title（参考訳）: Auto-Prox: 自動プロキシディスカバリによるトレーニングフリービジョントランスフォーマーアーキテクチャ検索
• Authors: Zimian Wei, Lujun Li, Peijie Dong, Zheng Hui, Anggeng Li, Menglong Lu, Hengyue Pan, Zhiliang Tian, Dongsheng Li
• Abstract要約: コンピュータビジョンタスクにおけるビジョントランスフォーマー(ViT)はアーキテクチャ設計に大きく影響している。 トレーニングベースのアーキテクチャ探索手法は計算集約的な手法であるため、ゼロコストプロキシを用いてViTをスコアするトレーニングフリー手法への関心が高まっている。 この問題に対処するために,自動プロキシ検出フレームワークであるAuto-Proxを導入する。
• 参考スコア（独自算出の注目度）: 30.17833885688344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The substantial success of Vision Transformer (ViT) in computer vision tasks is largely attributed to the architecture design. This underscores the necessity of efficient architecture search for designing better ViTs automatically. As training-based architecture search methods are computationally intensive, there is a growing interest in training-free methods that use zero-cost proxies to score ViTs. However, existing training-free approaches require expert knowledge to manually design specific zero-cost proxies. Moreover, these zero-cost proxies exhibit limitations to generalize across diverse domains. In this paper, we introduce Auto-Prox, an automatic proxy discovery framework, to address the problem. First, we build the ViT-Bench-101, which involves different ViT candidates and their actual performance on multiple datasets. Utilizing ViT-Bench-101, we can evaluate zero-cost proxies based on their score-accuracy correlation. Then, we represent zero-cost proxies with computation graphs and organize the zero-cost proxy search space with ViT statistics and primitive operations. To discover generic zero-cost proxies, we propose a joint correlation metric to evolve and mutate different zero-cost proxy candidates. We introduce an elitism-preserve strategy for search efficiency to achieve a better trade-off between exploitation and exploration. Based on the discovered zero-cost proxy, we conduct a ViT architecture search in a training-free manner. Extensive experiments demonstrate that our method generalizes well to different datasets and achieves state-of-the-art results both in ranking correlation and final accuracy. Codes can be found at https://github.com/lilujunai/Auto-Prox-AAAI24.
• Abstract（参考訳）: コンピュータビジョンタスクにおけるビジョントランスフォーマー(ViT)のかなりの成功は主にアーキテクチャ設計によるものである。 これにより、より良いvitを自動設計するための効率的なアーキテクチャ検索の必要性が高まる。 トレーニングベースのアーキテクチャ探索手法は計算集約的な手法であるため、ゼロコストプロキシを用いてViTをスコアするトレーニングフリー手法への関心が高まっている。 しかし、既存のトレーニングフリーアプローチでは、特定のゼロコストプロキシを手作業で設計する必要がある。 さらに、これらのゼロコストプロキシは、様々な領域にまたがる一般化の限界を示す。 本稿では,自動プロキシ検出フレームワークであるAuto-Proxを紹介し,この問題に対処する。 まず、異なるViT候補と実際の複数のデータセットのパフォーマンスを含むViT-Bench-101を構築します。 ViT-Bench-101を用いて,スコアと精度の相関に基づいて,ゼロコストプロキシを評価する。 次に、ゼロコストプロキシを計算グラフで表現し、vit統計とプリミティブ演算でゼロコストプロキシ検索空間を整理する。 汎用的なゼロコストプロキシを発見するために,異なるゼロコストプロキシ候補を進化・変異させる共同相関指標を提案する。 本研究では, 探索効率向上のためのエリート主義保存戦略を導入する。 検出したゼロコストプロキシに基づいて、トレーニング不要な方法でViTアーキテクチャ検索を行う。 大規模な実験により,本手法は異なるデータセットに対してよく一般化され,相関関係と最終的な精度の両方で最先端の結果が得られた。 コードはhttps://github.com/lilujunai/Auto-Prox-AAAI24で見ることができる。

関連論文リスト

• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• ArchGym: An Open-Source Gymnasium for Machine Learning Assisted Architecture Design [52.57999109204569]
  ArchGymは、さまざまな検索アルゴリズムをアーキテクチャシミュレータに接続するオープンソースのフレームワークである。 我々は、カスタムメモリコントローラ、ディープニューラルネットワークアクセラレータ、AR/VRワークロード用のカスタムSOCを設計する際に、複数のバニラおよびドメイン固有の検索アルゴリズムにわたってArchGymを評価する。
  論文  参考訳（メタデータ） (2023-06-15T06:41:23Z)
• TransPath: Learning Heuristics For Grid-Based Pathfinding via Transformers [64.88759709443819]
  探索の効率を顕著に向上させると考えられる,インスタンス依存のプロキシを学習することを提案する。 私たちが最初に学ぶことを提案するプロキシは、補正係数、すなわち、インスタンスに依存しないコスト・ツー・ゴの見積もりと完璧な見積もりの比率である。 第2のプロキシはパス確率であり、グリッドセルが最も短いパスに横たわっている可能性を示している。
  論文  参考訳（メタデータ） (2022-12-22T14:26:11Z)
• Evolving Zero Cost Proxies For Neural Architecture Scoring [3.441021278275805]
  ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。 本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
  論文  参考訳（メタデータ） (2022-09-15T16:10:16Z)
• FocusFormer: Focusing on What We Need via Architecture Sampler [45.150346855368]
  ビジョントランスフォーマー(ViT)はコンピュータビジョンの最近のブレークスルーを支えている。 ワンショットのニューラルアーキテクチャ検索は、さまざまなデプロイメントシナリオのためのスーパーネットトレーニングとアーキテクチャ専門化を分離する。 このようなギャップを埋めるために、FocusFormerと呼ばれるシンプルで効果的な手法を考案する。
  論文  参考訳（メタデータ） (2022-08-23T10:42:56Z)
• Training-free Transformer Architecture Search [89.88412583106741]
  Vision Transformer (ViT) はいくつかのコンピュータビジョンタスクで顕著な成功を収めた。 現在のTransformer Architecture Search (TAS) の手法は時間がかかり、既存のCNNのゼロコストプロキシはViT検索空間にうまく一般化していない。 本稿では,TASをトレーニング不要な方法で実施する方法を初めて検討し,効果的なトレーニング不要なTASスキームを考案する。
  論文  参考訳（メタデータ） (2022-03-23T06:06:54Z)
• Non-isotropy Regularization for Proxy-based Deep Metric Learning [78.18860829585182]
  本稿では,プロキシに基づくDeep Metric Learningのための非等方正則化(mathbbNIR$)を提案する。 これにより、プロキシの周囲のサンプルの非等方分布を明示的に誘導して最適化することが可能になる。 実験では、競争力と最先端のパフォーマンスを達成しながら、$mathbbNIR$の一貫性のある一般化の利点を強調している。
  論文  参考訳（メタデータ） (2022-03-16T11:13:20Z)
• Auto-scaling Vision Transformers without Training [84.34662535276898]
  本研究では,視覚変換器(ViT)の自動スケーリングフレームワークAs-ViTを提案する。 As-ViTは、ViTを効率的かつ原則的に自動的に発見し、スケールアップする。 As-ViTは統合されたフレームワークとして、分類と検出において高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-02-24T06:30:55Z)
• ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies [30.059154132130207]
  本稿では、ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率的なベイズ最適化フレームワークであるProxyBOを提案する。 ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T08:18:16Z)
• Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies [65.92826041406802]
  本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。 複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。 本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-26T14:52:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。