論文の概要: GreedyNASv2: Greedier Search with a Greedy Path Filter
- arxiv url: http://arxiv.org/abs/2111.12609v1
- Date: Wed, 24 Nov 2021 16:32:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-25 15:28:11.435234
- Title: GreedyNASv2: Greedier Search with a Greedy Path Filter
- Title(参考訳): GreedyNASv2: GreedyパスフィルタによるGreedier検索
- Authors: Tao Huang, Shan You, Fei Wang, Chen Qian, Changshui Zhang, Xiaogang
Wang, Chang Xu
- Abstract要約: ワンショットNAS法では、検索スペースは通常かなり大きい(例えば1321ドル)。
本稿では,明示的な経路フィルタを用いて経路の特性を抽出し,弱い経路を直接フィルタする。
例えば、取得したGreedyNASv2-Lは、ImageNetデータセットで811.1%のTop-1精度を実現し、ResNet-50の強いベースラインを著しく上回っている。
- 参考スコア(独自算出の注目度): 70.64311838369707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training a good supernet in one-shot NAS methods is difficult since the
search space is usually considerably huge (\eg, $13^{21}$). In order to enhance
the supernet's evaluation ability, one greedy strategy is to sample good paths,
and let the supernet lean towards the good ones and ease its evaluation burden
as a result. However, in practice the search can be still quite inefficient
since the identification of good paths is not accurate enough and sampled paths
still scatter around the whole search space. In this paper, we leverage an
explicit path filter to capture the characteristics of paths and directly
filter those weak ones, so that the search can be thus implemented on the
shrunk space more greedily and efficiently. Concretely, based on the fact that
good paths are much less than the weak ones in the space, we argue that the
label of ``weak paths" will be more confident and reliable than that of ``good
paths" in multi-path sampling. In this way, we thus cast the training of path
filter in the positive and unlabeled (PU) learning paradigm, and also encourage
a \textit{path embedding} as better path/operation representation to enhance
the identification capacity of the learned filter. By dint of this embedding,
we can further shrink the search space by aggregating similar operations with
similar embeddings, and the search can be more efficient and accurate.
Extensive experiments validate the effectiveness of the proposed method
GreedyNASv2. For example, our obtained GreedyNASv2-L achieves $81.1\%$ Top-1
accuracy on ImageNet dataset, significantly outperforming the ResNet-50 strong
baselines.
- Abstract(参考訳): 良いスーパーネットをワンショットNAS法で訓練することは、通常、検索空間がかなり大きいため難しい(例えば、13^{21}$)。
スーパーネットの評価能力を高めるためには、良いパスをサンプリングし、スーパーネットを良いパスに傾けるようにし、その結果評価の負担を和らげることである。
しかし、実際には、良い経路の同定が十分に正確ではなく、サンプルパスが検索空間全体に散らばっているため、探索は依然として非常に非効率である。
本稿では,明示的なパスフィルタを用いて経路特性を捕捉し,その弱い経路を直接フィルタリングすることで,探索をより柔軟かつ効率的にシュリンク空間に実装できることを示す。
具体的には、良いパスは、空間の弱いパスよりもずっと少ないという事実に基づいて、マルチパスサンプリングにおける ``weak paths" のラベルは ``good paths" のラベルよりも信頼性が高く信頼性が高いと主張する。
このようにして、パスフィルタのトレーニングをポジティブかつラベルなし(pu)学習パラダイムにキャストし、学習したフィルタの識別能力を高めるために、より優れたパス/操作表現として \textit{path embedded} を奨励する。
この埋め込みにより、類似した操作を同様の埋め込みで集約することで、検索空間をさらに縮小することができ、より効率的かつ正確な検索が可能となる。
GreedyNASv2法の有効性を検証する実験を行った。
例えば、取得したGreedyNASv2-Lは、ImageNetデータセットで811.1\%$ Top-1の精度を実現しています。
関連論文リスト
- Finding Transformer Circuits with Edge Pruning [71.12127707678961]
自動回路発見の効率的かつスケーラブルなソリューションとしてエッジプルーニングを提案する。
本手法は,従来の手法に比べてエッジ数の半分未満のGPT-2の回路を探索する。
その効率のおかげで、Edge PruningをCodeLlama-13Bにスケールしました。
論文 参考訳(メタデータ) (2024-06-24T16:40:54Z) - Random Search as a Baseline for Sparse Neural Network Architecture Search [0.0]
スパースニューラルネットワークは、高いパラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い性能を示している。
これは、高性能なスパースネットワークを学習したり、検索したりするための多くの研究の動機となった。
本稿では,適切なスパース構成を求めるためのベースラインアルゴリズムとしてランダム検索を提案し,その性能について検討する。
本研究では,このスパースアーキテクチャ探索タスクにおいて,ランダムサーチによって発見されたスパースネットワークは,ランダムサーチよりも効率よくも効率良くも収束もできないことを観察する。
論文 参考訳(メタデータ) (2024-03-13T05:32:13Z) - Reducing Redundant Work in Jump Point Search [30.45272181563766]
JPS (Jump Point Search) は、オンライングリッドベースのパスフィンディングのための最先端のアルゴリズムである。
JPSは, 十分に研究されていない病的行動を示すことができる。
本稿では,CJPS (Constrained JPS) と呼ばれるオンライン手法を提案する。
論文 参考訳(メタデータ) (2023-06-28T05:21:59Z) - DetOFA: Efficient Training of Once-for-All Networks for Object Detection
Using Path Filter [4.487368901635045]
本稿では,探索空間プルーニングを用いた高効率なスーパーネットベースニューラルネットワーク探索手法を提案する。
提案手法は,最適ネットワークアーキテクチャの計算コストを30%と63%削減する。
論文 参考訳(メタデータ) (2023-03-23T09:23:11Z) - PA&DA: Jointly Sampling PAth and DAta for Consistent NAS [8.737995937682271]
ワンショットNASメソッドはスーパーネットをトレーニングし、トレーニング済みの重みを継承してサブモデルを評価する。
大規模な勾配分散は、スーパーネットのトレーニング中に発生し、スーパーネットのランキング一貫性を低下させる。
本稿では,PAth と DAta のサンプリング分布を最適化することにより,スーパーネットトレーニングの勾配分散を明示的に最小化することを提案する。
論文 参考訳(メタデータ) (2023-02-28T17:14:24Z) - OPANAS: One-Shot Path Aggregation Network Architecture Search for Object
Detection [82.04372532783931]
近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。
本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-08T01:48:53Z) - ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and
Gradient Accumulation [106.04777600352743]
微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。
シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。
メモリフレンドリーだが、計算コストも低い。
RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-11-23T06:34:07Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-10-13T04:34:24Z) - GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。
より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
論文 参考訳(メタデータ) (2020-03-25T06:54:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。