論文の概要: Evaluating Online and Offline Accuracy Traversal Algorithms for
k-Complete Neural Network Architectures
- arxiv url: http://arxiv.org/abs/2101.06518v1
- Date: Sat, 16 Jan 2021 20:37:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 04:36:30.205668
- Title: Evaluating Online and Offline Accuracy Traversal Algorithms for
k-Complete Neural Network Architectures
- Title（参考訳）: k完全ニューラルネットワークアーキテクチャのためのオンラインおよびオフライン精度トラバーサルアルゴリズムの評価
- Authors: Yigit Alparslan, Ethan Jacob Moyer, Edward Kim
- Abstract要約: 本稿では,バイナリ分類のためのコンパクトニューラルネットワークアーキテクチャについて検討する。
過完全なアーキテクチャ候補を好む場合、スピードと精度の向上を調査します。
- 参考スコア（独自算出の注目度）: 6.123324869194195
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Architecture sizes for neural networks have been studied widely and several
search methods have been offered to find the best architecture size in the
shortest amount of time possible. In this paper, we study compact neural
network architectures for binary classification and investigate improvements in
speed and accuracy when favoring overcomplete architecture candidates that have
a very high-dimensional representation of the input. We hypothesize that an
overcomplete model architecture that creates a relatively high-dimensional
representation of the input will be not only be more accurate but would also be
easier and faster to find. In an NxM search space, we propose an online
traversal algorithm that finds the best architecture candidate in O(1) time for
best case and O(N) amortized time for average case for any compact binary
classification problem by using k-completeness as heuristics in our search. The
two other offline search algorithms we implement are brute force traversal and
diagonal traversal, which both find the best architecture candidate in O(NxM)
time. We compare our new algorithm to brute force and diagonal searching as a
baseline and report search time improvement of 52.1% over brute force and of
15.4% over diagonal search to find the most accurate neural network
architecture when given the same dataset. In all cases discussed in the paper,
our online traversal algorithm can find an accurate, if not better,
architecture in significantly shorter amount of time.
- Abstract（参考訳）: ニューラルネットワークのアーキテクチャサイズは広く研究されており、可能な限り短時間で最適なアーキテクチャサイズを見つけるためのいくつかの探索方法が提供されている。
本稿では,バイナリ分類のためのコンパクトニューラルネットワークアーキテクチャについて検討し,入力を非常に高次元的に表現する超完全アーキテクチャ候補を好む場合の速度と精度の向上について検討する。
比較的高次元の入力表現を生成するオーバーコンプリートモデルアーキテクチャは、より正確であるだけでなく、より簡単かつ高速に見つけることができると仮定する。
nxm探索空間において,我々はk完全性をヒューリスティックスとして用いることで,o(1)時間における最良アーキテクチャ候補と,任意のコンパクトバイナリ分類問題に対する平均ケースにおけるo(n)償却時間を求めるオンライントラバーサルアルゴリズムを提案する。
私たちが実装した他の2つのオフラインサーチアルゴリズムは、ブルートフォーストラバーサルと斜めトラバーサルであり、どちらもO(NxM)時間で最高のアーキテクチャ候補を見つける。
このアルゴリズムをベースラインとしてブルートフォースと対角探索と比較し,ブラトフォースより52.1%,対角検索で15.4%の改善を報告し,同じデータセットが与えられた場合に最も正確なニューラルネットワークアーキテクチャを求める。
論文で論じているすべてのケースにおいて、我々のオンライントラバーサルアルゴリズムは、より正確に、より良くなくても、はるかに短い時間でアーキテクチャを見つけることができる。
関連論文リスト
- Flexible Channel Dimensions for Differentiable Architecture Search [50.33956216274694]
本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。
提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
論文 参考訳（メタデータ） (2023-06-13T15:21:38Z) - Learning to Hash Robustly, with Guarantees [79.68057056103014]
本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。
理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。
我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
論文 参考訳（メタデータ） (2021-08-11T20:21:30Z) - Towards Searching Efficient and Accurate Neural Network Architectures in
Binary Classification Problems [4.3871352596331255]
本研究では,異なる探索アルゴリズムを調査し,最も精度の高いニューラルネットワークのアーキテクチャサイズを求めることで,選択プロセスを最適化する。
非常に明確に定義されたバイナリ分類ネットワーク検索空間でバイナリ検索を適用し、結果を線形検索と比較します。
我々は,二項探索法をデータセットに適用した場合,ナイーブ線形探索よりも100倍長い実行時間の改善を報告した。
論文 参考訳（メタデータ） (2021-01-16T20:00:38Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。
探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。
これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
論文 参考訳（メタデータ） (2020-11-24T11:36:36Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and
Size [31.903475598150152]
アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。
NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
論文 参考訳（メタデータ） (2020-08-28T21:34:56Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Learning to Accelerate Heuristic Searching for Large-Scale Maximum
Weighted b-Matching Problems in Online Advertising [51.97494906131859]
バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。
既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。
我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
論文 参考訳（メタデータ） (2020-05-09T02:48:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。