論文の概要: Learning Architectures for Binary Networks

• arxiv url: http://arxiv.org/abs/2002.06963v2
• Date: Fri, 10 Apr 2020 09:08:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 12:16:26.627366
• Title: Learning Architectures for Binary Networks
• Title（参考訳）: バイナリネットワークのための学習アーキテクチャ
• Authors: Dahyun Kim, Kunal Pratap Singh, Jonghyun Choi
• Abstract要約: ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 提案手法は,バイナリネットワーク固有の量子化誤差にも拘わらず,安定した学習曲線を持つアーキテクチャを探索する。
• 参考スコア（独自算出の注目度）: 10.944100369283483
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backbone architectures of most binary networks are well-known floating point architectures such as the ResNet family. Questioning that the architectures designed for floating point networks would not be the best for binary networks, we propose to search architectures for binary networks (BNAS) by defining a new search space for binary architectures and a novel search objective. Specifically, based on the cell based search method, we define the new search space of binary layer types, design a new cell template, and rediscover the utility of and propose to use the Zeroise layer instead of using it as a placeholder. The novel search objective diversifies early search to learn better performing binary architectures. We show that our proposed method searches architectures with stable training curves despite the quantization error inherent in binary networks. Quantitative analyses demonstrate that our searched architectures outperform the architectures used in state-of-the-art binary networks and outperform or perform on par with state-of-the-art binary networks that employ various techniques other than architectural changes.
• Abstract（参考訳）: ほとんどのバイナリネットワークのバックボーンアーキテクチャは、resnetファミリのようなよく知られた浮動小数点アーキテクチャである。 浮動小数点ネットワーク用に設計されたアーキテクチャがバイナリネットワークにとって最善ではないという疑問に対して,我々は,バイナリアーキテクチャの新しい検索空間と新たな検索目的を定義することにより,バイナリネットワーク (bnas) の検索アーキテクチャを提案する。 具体的には,このセルベース探索法に基づいて,バイナリ層タイプの新たな検索空間を定義し,新しいセルテンプレートを設計し,それをプレースホルダとして使用する代わりにゼロイズ層の有用性を再発見し,提案する。 新しい検索目的は、より優れたバイナリアーキテクチャを学ぶために、早期検索を多様化する。 提案手法は,バイナリネットワーク固有の量子化誤差にもかかわらず,安定なトレーニング曲線を持つアーキテクチャを探索する。 定量的分析により,検索したアーキテクチャは最先端のバイナリネットワークで使用されるアーキテクチャよりも優れており,アーキテクチャの変更以外の様々な技術を用いた最先端のバイナリネットワークに匹敵する性能を示す。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements [11.978082858160576]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点(FP)アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 本手法は,バイナリネットワークに固有の量子化誤差にもかかわらず,安定なトレーニング曲線でアーキテクチャを探索することを示す。
  論文  参考訳（メタデータ） (2021-10-16T12:38:26Z)
• Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
  ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。 提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。 実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-23T13:27:24Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures [21.671696519808226]
  バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
  論文  参考訳（メタデータ） (2020-11-21T14:38:44Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)
• BATS: Binary ArchitecTure Search [56.87581500474093]
  ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。 具体的には、新しいバイナリ指向検索空間を導入し、設計する。 また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
  論文  参考訳（メタデータ） (2020-03-03T18:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。