論文の概要: BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures

• arxiv url: http://arxiv.org/abs/2011.10804v3
• Date: Sat, 27 Mar 2021 05:54:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 23:25:45.386007
• Title: BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures
• Title（参考訳）: bars: 高精度かつ効率的なバイナリアーキテクチャのためのセルトポロジーとレイアウトの合同探索
• Authors: Tianchen Zhao, Xuefei Ning, Xiangsheng Shi, Songyi Yang, Shuang Liang, Peng Lei, Jianfei Chen, Huazhong Yang, Yu Wang
• Abstract要約: バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
• 参考スコア（独自算出の注目度）: 21.671696519808226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs) have received significant attention due to their promising efficiency. Currently, most BNN studies directly adopt widely-used CNN architectures, which can be suboptimal for BNNs. This paper proposes a novel Binary ARchitecture Search (BARS) flow to discover superior binary architecture in a large design space. Specifically, we analyze the information bottlenecks that are related to both the topology and layout architecture design choices. And we propose to automatically search for the optimal information flow. To achieve that, we design a two-level (Macro & Micro) search space tailored for BNNs and apply a differentiable neural architecture search (NAS) to explore this search space efficiently. The macro-level search space includes width and depth decisions, which is required for better balancing the model performance and complexity. We also design the micro-level search space to strengthen the information flow for BNN. %A notable challenge of BNN architecture search lies in that binary operations exacerbate the "collapse" problem of differentiable NAS, for which we incorporate various search and derive strategies to stabilize the search process. On CIFAR-10, BARS achieves 1.5% higher accuracy with 2/3 binary operations and 1/10 floating-point operations comparing with existing BNN NAS studies. On ImageNet, with similar resource consumption, BARS-discovered architecture achieves a 6% accuracy gain than hand-crafted binary ResNet-18 architectures and outperforms other binary architectures while fully binarizing the architecture backbone.
• Abstract（参考訳）: バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを直接採用している。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。 具体的には、トポロジとレイアウトアーキテクチャの両方の設計選択に関連する情報のボトルネックを分析する。 また,最適な情報フローを自動検索する手法を提案する。 そこで我々は,BNNに適した2レベル (Macro & Micro) 探索空間を設計し,この探索空間を効率的に探索するために,微分可能なニューラルアーキテクチャ探索 (NAS) を適用した。 マクロレベルの検索空間には幅と深さの決定が含まれており、モデルのパフォーマンスと複雑さのバランスを取るために必要となる。 また,bnnの情報フローを強化するため,マイクロレベルの検索空間も設計した。 % のbnnアーキテクチャ探索の顕著な課題は、二元演算が微分可能nasの「収束」問題を悪化させ、検索プロセスを安定化するために様々な探索と導出戦略を組み込むことである。 CIFAR-10では、BARSは既存のBNN NAS研究と比較して2/3のバイナリ演算と1/10の浮動小数点演算で1.5%高い精度を達成する。 ImageNetでは、BARSが発見したアーキテクチャは、手作りのResNet-18アーキテクチャよりも6%の精度向上を実現し、アーキテクチャのバックボーンを完全にバイナライズしながら、他のバイナリアーキテクチャより優れている。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
  本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:21:38Z)
• BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements [11.978082858160576]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点(FP)アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 本手法は,バイナリネットワークに固有の量子化誤差にもかかわらず,安定なトレーニング曲線でアーキテクチャを探索することを示す。
  論文  参考訳（メタデータ） (2021-10-16T12:38:26Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• NASB: Neural Architecture Search for Binary Convolutional Neural Networks [2.3204178451683264]
  我々は、ニューラルネットワーク探索(NAS)を採用したNASBという戦略を提案し、CNNのバイナライゼーションに最適なアーキテクチャを提案する。 この自動戦略の柔軟性のため、得られたアーキテクチャは二項化に適合するだけでなく、オーバーヘッドも低い。 NASBは、既存のシングルCNNと複数のバイナリCNNをそれぞれ最大4.0%、トップ1の精度1.0%で上回っている。
  論文  参考訳（メタデータ） (2020-08-08T13:06:11Z)
• Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation [4.595675084986132]
  畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
  論文  参考訳（メタデータ） (2020-07-06T13:42:33Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• BATS: Binary ArchitecTure Search [56.87581500474093]
  ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。 具体的には、新しいバイナリ指向検索空間を導入し、設計する。 また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
  論文  参考訳（メタデータ） (2020-03-03T18:57:02Z)
• Learning Architectures for Binary Networks [10.944100369283483]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 提案手法は,バイナリネットワーク固有の量子化誤差にも拘わらず,安定した学習曲線を持つアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-17T14:06:45Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。