論文の概要: BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements

• arxiv url: http://arxiv.org/abs/2110.08562v1
• Date: Sat, 16 Oct 2021 12:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:32:03.471492
• Title: BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements
• Title（参考訳）: BNAS v2:実証的改善を伴うバイナリネットワークの学習アーキテクチャ
• Authors: Dahyun Kim, Kunal Pratap Singh, Jonghyun Choi
• Abstract要約: ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点(FP)アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 本手法は,バイナリネットワークに固有の量子化誤差にもかかわらず,安定なトレーニング曲線でアーキテクチャを探索することを示す。
• 参考スコア（独自算出の注目度）: 11.978082858160576
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backbone architectures of most binary networks are well-known floating point (FP) architectures such as the ResNet family. Questioning that the architectures designed for FP networks might not be the best for binary networks, we propose to search architectures for binary networks (BNAS) by defining a new search space for binary architectures and a novel search objective. Specifically, based on the cell based search method, we define the new search space of binary layer types, design a new cell template, and rediscover the utility of and propose to use the Zeroise layer instead of using it as a placeholder. The novel search objective diversifies early search to learn better performing binary architectures. We show that our method searches architectures with stable training curves despite the quantization error inherent in binary networks. Quantitative analyses demonstrate that our searched architectures outperform the architectures used in state-of-the-art binary networks and outperform or perform on par with state-of-the-art binary networks that employ various techniques other than architectural changes. In addition, we further propose improvements to the training scheme of our searched architectures. With the new training scheme for our searched architectures, we achieve the state-of-the-art performance by binary networks by outperforming all previous methods by non-trivial margins.
• Abstract（参考訳）: ほとんどのバイナリネットワークのバックボーンアーキテクチャは、resnetファミリのような有名な浮動小数点(fp)アーキテクチャである。 本稿では、FPネットワーク用に設計されたアーキテクチャがバイナリネットワークにとって最適ではないかどうかを問うため、バイナリネットワークの新しい検索空間と新しい検索目的を定義することにより、バイナリネットワーク(BNAS)のアーキテクチャを探索することを提案する。 具体的には,このセルベース探索法に基づいて,バイナリ層タイプの新たな検索空間を定義し,新しいセルテンプレートを設計し,それをプレースホルダとして使用する代わりにゼロイズ層の有用性を再発見し,提案する。 新しい検索目的は、より優れたバイナリアーキテクチャを学ぶために、早期検索を多様化する。 本手法は,バイナリネットワーク固有の量子化誤差にもかかわらず,安定したトレーニング曲線でアーキテクチャを探索する。 定量的分析により,検索したアーキテクチャは最先端のバイナリネットワークで使用されるアーキテクチャよりも優れており,アーキテクチャの変更以外の様々な技術を用いた最先端のバイナリネットワークに匹敵する性能を示す。 さらに,検索したアーキテクチャのトレーニング手法の改善も提案する。 探索アーキテクチャの新しいトレーニングスキームにより、従来の手法を非自明なマージンで上回り、バイナリネットワークによる最先端の性能を実現する。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
  ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。 提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。 実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-23T13:27:24Z)
• BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures [21.671696519808226]
  バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
  論文  参考訳（メタデータ） (2020-11-21T14:38:44Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation [4.595675084986132]
  畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
  論文  参考訳（メタデータ） (2020-07-06T13:42:33Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• BATS: Binary ArchitecTure Search [56.87581500474093]
  ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。 具体的には、新しいバイナリ指向検索空間を導入し、設計する。 また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
  論文  参考訳（メタデータ） (2020-03-03T18:57:02Z)
• Learning Architectures for Binary Networks [10.944100369283483]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 提案手法は,バイナリネットワーク固有の量子化誤差にも拘わらず,安定した学習曲線を持つアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-17T14:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。