論文の概要: BATS: Binary ArchitecTure Search

• arxiv url: http://arxiv.org/abs/2003.01711v2
• Date: Thu, 23 Jul 2020 21:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 22:16:14.291164
• Title: BATS: Binary ArchitecTure Search
• Title（参考訳）: BATS:バイナリArchitcTure Search
• Authors: Adrian Bulat and Brais Martinez and Georgios Tzimiropoulos
• Abstract要約: ニューラルアーキテクチャ検索をバイナリドメインに直接適用すると、非常に貧弱な結果が得られることを示す。 具体的には、新しいバイナリ指向検索空間を導入し、設計する。 また、CIFAR10、CIFAR100、ImageNetデータセット上に、バイナリニューラルネットワークのための新しい最先端技術も設定しました。
• 参考スコア（独自算出の注目度）: 56.87581500474093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes Binary ArchitecTure Search (BATS), a framework that drastically reduces the accuracy gap between binary neural networks and their real-valued counterparts by means of Neural Architecture Search (NAS). We show that directly applying NAS to the binary domain provides very poor results. To alleviate this, we describe, to our knowledge, for the first time, the 3 key ingredients for successfully applying NAS to the binary domain. Specifically, we (1) introduce and design a novel binary-oriented search space, (2) propose a new mechanism for controlling and stabilising the resulting searched topologies, (3) propose and validate a series of new search strategies for binary networks that lead to faster convergence and lower search times. Experimental results demonstrate the effectiveness of the proposed approach and the necessity of searching in the binary space directly. Moreover, (4) we set a new state-of-the-art for binary neural networks on CIFAR10, CIFAR100 and ImageNet datasets. Code will be made available https://github.com/1adrianb/binary-nas
• Abstract（参考訳）: 本稿では,バイナリニューラルネットワークと実際のニューラルネットワークとの精度ギャップを,ニューラルネットワーク検索(nas)によって劇的に低減するフレームワークであるbinary architecture search(bats)を提案する。 NASをバイナリドメインに直接適用すると、非常に悪い結果が得られます。 これを緩和するために、我々は初めて、nasをバイナリドメインにうまく適用するための3つの重要な要素について記述します。 具体的には,(1)新しいバイナリ指向探索空間の導入と設計,(2)検索されたトポロジの制御と安定化のための新しいメカニズムの提案,(3)コンバージェンスと検索時間の短縮につながるバイナリネットワークの新しい探索戦略の提案と検証を行う。 実験の結果,提案手法の有効性と二元空間における直接探索の必要性が示された。 さらに, (4) cifar10, cifar100およびimagenetデータセット上に, バイナリニューラルネットワークのための最新技術を設定する。 コードはhttps://github.com/1adrianb/binary-nasで利用可能になる。

関連論文リスト

• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements [11.978082858160576]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点(FP)アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 本手法は,バイナリネットワークに固有の量子化誤差にもかかわらず,安定なトレーニング曲線でアーキテクチャを探索することを示す。
  論文  参考訳（メタデータ） (2021-10-16T12:38:26Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• BARS: Joint Search of Cell Topology and Layout for Accurate and Efficient Binary ARchitectures [21.671696519808226]
  バイナリニューラルネットワーク(BNN)はその有望な効率のために大きな注目を集めている。 現在、ほとんどのBNN研究は広く使われているCNNアーキテクチャを採用しており、BNNには最適である。 本稿では,大規模な設計空間において優れたバイナリアーキテクチャを発見するために,BARS(Binary ARchitecture Search)フローを提案する。
  論文  参考訳（メタデータ） (2020-11-21T14:38:44Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)
• Learning Architectures for Binary Networks [10.944100369283483]
  ほとんどのバイナリネットワークのバックボーンアーキテクチャは、ResNetファミリのようなよく知られた浮動小数点アーキテクチャである。 本稿では,バイナリネットワークのための新しい検索空間と新しい検索対象を定義することによって,バイナリネットワークのためのアーキテクチャを探索することを提案する。 提案手法は,バイナリネットワーク固有の量子化誤差にも拘わらず,安定した学習曲線を持つアーキテクチャを探索する。
  論文  参考訳（メタデータ） (2020-02-17T14:06:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。