論文の概要: G-DARTS-A: Groups of Channel Parallel Sampling with Attention
- arxiv url: http://arxiv.org/abs/2010.08360v1
- Date: Fri, 16 Oct 2020 12:58:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:29:47.813634
- Title: G-DARTS-A: Groups of Channel Parallel Sampling with Attention
- Title（参考訳）: G-DARTS-A:注意を伴うチャンネル並列サンプリングのグループ
- Authors: Zhaowen Wang, Wei Zhang, Zhiming Wang
- Abstract要約: 本稿では,複数のチャネル群を用いたグループDARTS with Attention (G-DARTS-A) という手法を提案する。
PC-DARTSの部分サンプリング戦略に触発されて、グループチャネルを使用してスーパーネットワークをサンプリングし、より効率的な探索を行う。
- 参考スコア（独自算出の注目度）: 22.343277522403742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable Architecture Search (DARTS) provides a baseline for searching
effective network architectures based gradient, but it is accompanied by huge
computational overhead in searching and training network architecture.
Recently, many novel works have improved DARTS. Particularly,
Partially-Connected DARTS(PC-DARTS) proposed the partial channel sampling
technique which achieved good results. In this work, we found that the backbone
provided by DARTS is prone to overfitting. To mitigate this problem, we propose
an approach named Group-DARTS with Attention (G-DARTS-A), using multiple groups
of channels for searching. Inspired by the partially sampling strategy of
PC-DARTS, we use groups channels to sample the super-network to perform a more
efficient search while maintaining the relative integrity of the network
information. In order to relieve the competition between channel groups and
keep channel balance, we follow the attention mechanism in
Squeeze-and-Excitation Network. Each group of channels shares defined weights
thence they can provide different suggestion for searching. The searched
architecture is more powerful and better adapted to different deployments.
Specifically, by only using the attention module on DARTS we achieved an error
rate of 2.82%/16.36% on CIFAR10/100 with 0.3GPU-days for search process on
CIFAR10. Apply our G-DARTS-A to DARTS/PC-DARTS, an error rate of 2.57%/2.61% on
CIFAR10 with 0.5/0.4 GPU-days is achieved.
- Abstract（参考訳）: Differentiable Architecture Search (DARTS) は、効率的なネットワークアーキテクチャに基づく勾配を探索するためのベースラインを提供するが、ネットワークアーキテクチャの探索と訓練には膨大な計算オーバーヘッドが伴う。
近年、多くの小説がダーツを改良した。
特に、部分連結DARTS(PC-DARTS)は、良好な結果を得た部分チャネルサンプリング手法を提案した。
本研究では、DARTSが提供するバックボーンが過度に適合する傾向があることを発見した。
そこで本研究では,グループDARTS (Group-DARTS with Attention, G-DARTS-A) という手法を提案する。
PC-DARTSの部分サンプリング戦略に着想を得て,ネットワーク情報の相対的整合性を維持しつつ,グループチャネルを用いてより効率的な探索を行う。
Squeeze-and-Excitation Networkでは,チャネルグループ間の競合を緩和し,チャネルバランスを維持するために,注目メカニズムに従う。
各チャネルのグループは、検索のための異なる提案を提供する、定義された重みを共有します。
検索されたアーキテクチャはより強力で、異なるデプロイメントに適応しています。
具体的には、DARTSのアテンションモジュールのみを使用することで、CIFAR10/100では2.82%/16.36%、CIFAR10では0.3GPU日というエラー率を達成した。
G-DARTS-AをDARTS/PC-DARTSに適用すると、CIFAR10では2.57%/2.61%のエラー率と0.5/0.4GPU日が達成される。
関連論文リスト
- Differentiable Architecture Search with Random Features [80.31916993541513]
微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。
本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
論文 参考訳（メタデータ） (2022-08-18T13:55:27Z) - Partial Connection Based on Channel Attention for Differentiable Neural
Architecture Search [1.1125818448814198]
微分可能なニューラルネットワーク探索(DARTS)は勾配誘導探索法である。
いくつかの重み付き操作のパラメータは、初期段階では十分に訓練されない。
微分可能なニューラルアーキテクチャ探索(ADARTS)のためのチャネルアテンションに基づく部分チャネル接続を提案する。
論文 参考訳（メタデータ） (2022-08-01T12:05:55Z) - Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。
BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。
本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
論文 参考訳（メタデータ） (2022-03-25T15:32:46Z) - iDARTS: Improving DARTS by Node Normalization and Decorrelation
Discretization [51.489024258966886]
微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。
しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。
そこで本研究では,DARTSの改良版であるiDARTSを提案する。
論文 参考訳（メタデータ） (2021-08-25T02:23:30Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。
我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。
提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文 参考訳（メタデータ） (2021-08-02T08:21:44Z) - Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。
我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。
その結果,小型歩行者の検出における本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-08-19T13:13:01Z) - RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。
我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。
RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
論文 参考訳（メタデータ） (2020-08-10T04:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。