論文の概要: Pseudo-Inverted Bottleneck Convolution for DARTS Search Space

• arxiv url: http://arxiv.org/abs/2301.01286v3
• Date: Sun, 19 Mar 2023 00:49:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 00:40:12.356995
• Title: Pseudo-Inverted Bottleneck Convolution for DARTS Search Space
• Title（参考訳）: DARTS検索空間に対する擬似反転ボトルネック畳み込み
• Authors: Arash Ahmadian, Louis S.P. Liu, Yue Fei, Konstantinos N. Plataniotis, Mahdi S. Hosseini
• Abstract要約: 本稿では,ConvNeXt で提案された逆ボトルネックブロックの計算フットプリントを削減することを目的とした Pseudo-Inverted Bottleneck (PIBConv) ブロックを提案する。 提案したアーキテクチャは, 評価層数に対してはるかに感度が低く, DARTSネットワークを2。
• 参考スコア（独自算出の注目度）: 35.50068534514941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable Architecture Search (DARTS) has attracted considerable attention as a gradient-based neural architecture search method. Since the introduction of DARTS, there has been little work done on adapting the action space based on state-of-art architecture design principles for CNNs. In this work, we aim to address this gap by incrementally augmenting the DARTS search space with micro-design changes inspired by ConvNeXt and studying the trade-off between accuracy, evaluation layer count, and computational cost. We introduce the Pseudo-Inverted Bottleneck Conv (PIBConv) block intending to reduce the computational footprint of the inverted bottleneck block proposed in ConvNeXt. Our proposed architecture is much less sensitive to evaluation layer count and outperforms a DARTS network with similar size significantly, at layer counts as small as 2. Furthermore, with less layers, not only does it achieve higher accuracy with lower computational footprint (measured in GMACs) and parameter count, GradCAM comparisons show that our network can better detect distinctive features of target objects compared to DARTS. Code is available from https://github.com/mahdihosseini/PIBConv.
• Abstract（参考訳）: 微分可能なアーキテクチャ探索(DARTS)は勾配に基づくニューラルアーキテクチャ探索法として注目されている。 DARTSの導入以来、CNNの最先端アーキテクチャ設計原則に基づいたアクション空間の適応に向けた作業はほとんど行われていない。 本研究では,DARTS検索空間をConvNeXtにインスパイアされたマイクロデザイン変更によって漸進的に拡張し,精度,評価層数,計算コストのトレードオフを研究することで,このギャップに対処することを目的とする。 本研究では,Pseudo-Inverted Bottleneck Conv (PIBConv) ブロックを導入し,ConvNeXtで提案した逆ボトルネックブロックの計算フットプリントを削減する。 提案するアーキテクチャは,評価層数に対する感度が低く,同じ大きさのdartsネットワークを2。 さらに、少ないレイヤで計算フットプリント(gmacsで測定される)とパラメータ数で高い精度を達成できるだけでなく、gradcamの比較では、dartと比較してターゲットオブジェクトの特徴的な特徴を検出できることが示されている。 コードはhttps://github.com/mahdihosseini/pibconvから利用できる。

関連論文リスト

• DASS: Differentiable Architecture Search for Sparse neural networks [0.5735035463793009]
  識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。 本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。 検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
  論文  参考訳（メタデータ） (2022-07-14T14:53:50Z)
• EResFD: Rediscovery of the Effectiveness of Standard Convolution for Lightweight Face Detection [13.357235715178584]
  顔検出のための軽量バックボーンアーキテクチャとして,標準的な畳み込みブロックの有効性を再検討する。 チャネル切断された標準畳み込み層は精度と推論速度を向上できることを示す。 提案する検出器EResFDは,CPU上でのVGA画像推測に37.7msしか要しないWIDER FACE Hardサブセット上で80.4%のmAPを得た。
  論文  参考訳（メタデータ） (2022-04-04T02:30:43Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Rethinking Bottleneck Structure for Efficient Mobile Network Design [154.47657111869552]
  倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。 この構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行うサンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。 ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
  論文  参考訳（メタデータ） (2020-07-05T08:55:26Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。