論文の概要: Binarizing MobileNet via Evolution-based Searching

• arxiv url: http://arxiv.org/abs/2005.06305v2
• Date: Fri, 15 May 2020 15:48:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 09:57:53.359129
• Title: Binarizing MobileNet via Evolution-based Searching
• Title（参考訳）: 進化的検索によるMobileNetのバイナリ化
• Authors: Hai Phan, Zechun Liu, Dang Huynh, Marios Savvides, Kwang-Ting Cheng, Zhiqiang Shen
• Abstract要約: そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
• 参考スコア（独自算出の注目度）: 66.94247681870125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary Neural Networks (BNNs), known to be one among the effectively compact network architectures, have achieved great outcomes in the visual tasks. Designing efficient binary architectures is not trivial due to the binary nature of the network. In this paper, we propose a use of evolutionary search to facilitate the construction and training scheme when binarizing MobileNet, a compact network with separable depth-wise convolution. Inspired by one-shot architecture search frameworks, we manipulate the idea of group convolution to design efficient 1-Bit Convolutional Neural Networks (CNNs), assuming an approximately optimal trade-off between computational cost and model accuracy. Our objective is to come up with a tiny yet efficient binary neural architecture by exploring the best candidates of the group convolution while optimizing the model performance in terms of complexity and latency. The approach is threefold. First, we train strong baseline binary networks with a wide range of random group combinations at each convolutional layer. This set-up gives the binary neural networks a capability of preserving essential information through layers. Second, to find a good set of hyperparameters for group convolutions we make use of the evolutionary search which leverages the exploration of efficient 1-bit models. Lastly, these binary models are trained from scratch in a usual manner to achieve the final binary model. Various experiments on ImageNet are conducted to show that following our construction guideline, the final model achieves 60.09% Top-1 accuracy and outperforms the state-of-the-art CI-BCNN with the same computational cost.
• Abstract（参考訳）: 効果的にコンパクトなネットワークアーキテクチャの1つであるバイナリニューラルネットワーク(BNN)は、視覚的なタスクにおいて大きな成果を上げている。 効率的なバイナリアーキテクチャを設計するのは、ネットワークのバイナリ性のため簡単ではない。 本稿では,分離可能な奥行き畳み込みを持つコンパクトネットワークであるmobilenetのバイナリ化において,構築とトレーニングを容易にするための進化的探索手法を提案する。 一発のアーキテクチャ検索フレームワークに触発されて、効率的な1ビット畳み込みニューラルネットワーク(cnns)を設計するためにグループ畳み込みのアイデアを操り、計算コストとモデルの精度のほぼ最適なトレードオフを仮定する。 我々の目標は、複雑性とレイテンシの観点からモデルパフォーマンスを最適化しながら、グループ畳み込みの最適な候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを作ることです。 アプローチは3倍です。 まず,各畳み込み層において,多種多様なランダム群の組み合わせを持つ強ベースライン二元ネットワークを訓練する。 このセットアップにより、バイナリニューラルネットワークはレイヤを通じて必須情報を保存できる。 次に、グループ畳み込みのための適切なハイパーパラメータを見つけるために、効率的な1ビットモデルの探索を利用する進化的探索を利用する。 最後に、これらのバイナリモデルは、最終的なバイナリモデルを達成するために通常の方法でスクラッチからトレーニングされます。 imagenet の様々な実験により, 設計ガイドラインに従い, 最終モデルが 60.09% のtop-1 精度を達成し, 同じ計算コストで最先端の ci-bcnn を上回ることを示した。

関連論文リスト

• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• Compacting Binary Neural Networks by Sparse Kernel Selection [58.84313343190488]
  本稿は,BNNにおけるバイナリカーネルの分散化がほぼ不可能であることを示すものである。 我々は、選択過程をエンドツーエンドに最適化するだけでなく、選択したコードワードの非反復的占有を維持できる置換ストレートスルー推定器(PSTE)を開発した。 実験により,提案手法はモデルサイズとビット幅の計算コストの両方を削減し,同等の予算下での最先端のBNNと比較して精度の向上を実現する。
  論文  参考訳（メタデータ） (2023-03-25T13:53:02Z)
• Join the High Accuracy Club on ImageNet with A Binary Neural Network Ticket [10.552465253379134]
  ILSVRC-2012 ImageNetにおいて、バイナリニューラルネットワークが重要な精度レベル(例えば80%)をどうやって達成できるのか? 我々は、バイナリアーキテクチャとその最適化プロセスの包括的な研究に基づいて、新しいバイナリアーキテクチャBNextを設計する。 極めて正確なバイナリモデルを訓練する際の直感的オーバーフィッティング問題を軽減するために,新しい知識蒸留手法を提案する。
  論文  参考訳（メタデータ） (2022-11-23T13:08:58Z)
• Towards Accurate Binary Neural Networks via Modeling Contextual Dependencies [52.691032025163175]
  既存のバイナリニューラルネットワーク(BNN)は主にバイナライズ機能を備えた局所畳み込みで動作する。 本稿では,二元系ニューラルモジュールの設計を新たに提案し,二元系ニューラルモジュールを大きなマージンで導く。
  論文  参考訳（メタデータ） (2022-09-03T11:51:04Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• SAR-NAS: Skeleton-based Action Recognition via Neural Architecture Searching [18.860051578038608]
  スケルトンベースのアクションインスタンスをテンソルにエンコードし、正常細胞と還元細胞という2種類のネットワーク細胞を構築するための一連の操作を定義する。 NTU RGB+DとKinecticsのデータセットに挑戦する実験では、骨格に基づく行動認識のために開発されたネットワークのほとんどは、コンパクトで効率的なものではないことが確認された。 提案手法は,最先端の手法よりも比較や性能の向上が可能な,そのようなコンパクトなネットワークを探索する手法を提供する。
  論文  参考訳（メタデータ） (2020-10-29T03:24:15Z)
• High-Capacity Expert Binary Networks [56.87581500474093]
  ネットワークバイナライゼーションは、効率的なディープモデルを作成するための、ハードウェア対応の有望な方向性である。 メモリと計算上の優位性にもかかわらず、バイナリモデルとその実数値モデルの間の精度のギャップを縮めることは、未解決の課題である。 本稿では,入力特徴に基づく時間に1つのデータ固有のエキスパートバイナリフィルタを選択することを学習することで,初めてバイナリネットワークに条件付きコンピューティングを適合させる専門家バイナリ畳み込みを提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:58:10Z)
• NASB: Neural Architecture Search for Binary Convolutional Neural Networks [2.3204178451683264]
  我々は、ニューラルネットワーク探索(NAS)を採用したNASBという戦略を提案し、CNNのバイナライゼーションに最適なアーキテクチャを提案する。 この自動戦略の柔軟性のため、得られたアーキテクチャは二項化に適合するだけでなく、オーバーヘッドも低い。 NASBは、既存のシングルCNNと複数のバイナリCNNをそれぞれ最大4.0%、トップ1の精度1.0%で上回っている。
  論文  参考訳（メタデータ） (2020-08-08T13:06:11Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。