論文の概要: Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics

• arxiv url: http://arxiv.org/abs/2207.04467v1
• Date: Sun, 10 Jul 2022 13:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:08:55.784619
• Title: Noisy Heuristics NAS: A Network Morphism based Neural Architecture Search using Heuristics
• Title（参考訳）: 雑音ヒューリスティックスNAS:ヒューリスティックスを用いたネットワーク形態に基づくニューラルネットワーク探索
• Authors: Suman Sapkota and Binod Bhattarai
• Abstract要約: 本稿では,Nuisy Heuristics NASというネットワークモルフィズムに基づくNASを提案する。 新しいニューロンをランダムに追加し、最も適したニューロンのみを選択するために、いくつかのニューロンをプルーニングします。 本手法は,おもちゃのデータセットとMNIST, CIFAR-10, CIFAR-100などの実世界のデータセットの両方を一般化する。
• 参考スコア（独自算出の注目度）: 11.726528038065764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network Morphism based Neural Architecture Search (NAS) is one of the most efficient methods, however, knowing where and when to add new neurons or remove dis-functional ones is generally left to black-box Reinforcement Learning models. In this paper, we present a new Network Morphism based NAS called Noisy Heuristics NAS which uses heuristics learned from manually developing neural network models and inspired by biological neuronal dynamics. Firstly, we add new neurons randomly and prune away some to select only the best fitting neurons. Secondly, we control the number of layers in the network using the relationship of hidden units to the number of input-output connections. Our method can increase or decrease the capacity or non-linearity of models online which is specified with a few meta-parameters by the user. Our method generalizes both on toy datasets and on real-world data sets such as MNIST, CIFAR-10, and CIFAR-100. The performance is comparable to the hand-engineered architecture ResNet-18 with the similar parameters.
• Abstract（参考訳）: ネットワークモルフィズムに基づくニューラルアーキテクチャサーチ(NAS)は最も効率的な手法の1つであるが、新しいニューロンをどこでいつ追加するか、あるいは機能不全を除去するかを知ることは、一般的にブラックボックス強化学習モデルに委ねられる。 本稿では,ニューラルネットワークモデルを手作業で開発し,生物学的神経力学にインスパイアされたヒューリスティックスを用いて,ニューラルネット・モルフィズムに基づくNAS(Noisy Heuristics NAS)を提案する。 まず、新しいニューロンをランダムに追加し、最適なニューロンだけを選択するためにいくつかのニューロンを除外します。 第2に、隠れたユニットと入出力コネクションの数の関係を利用して、ネットワーク内のレイヤ数を制御する。 本手法は,数個のメタパラメータで指定したオンラインモデルの容量や非線形性を増大あるいは減少させることができる。 本手法はおもちゃのデータセットとMNIST, CIFAR-10, CIFAR-100といった実世界のデータセットの両方を一般化する。 性能は、同様のパラメータを持つ手動設計のResNet-18に匹敵する。

関連論文リスト

• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance [0.0]
  我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。 このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
  論文  参考訳（メタデータ） (2024-08-16T14:38:14Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Evolutionary Neural Architecture Search Supporting Approximate Multipliers [0.5414308305392761]
  進化的畳み込みニューラルネットワーク(CNN)のためのカルト的遺伝的プログラミングに基づく多目的NAS法を提案する。 最も適切な近似乗算器は、近似乗算器のライブラリから自動的に選択される。 進化したCNNは、CIFAR-10ベンチマーク問題に類似した複雑さを持つ一般的な人間によるCNNと比較される。
  論文  参考訳（メタデータ） (2021-01-28T09:26:03Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Deep Learning in Memristive Nanowire Networks [0.0]
  MN3(Memristive Nanowire Neural Network)と呼ばれる新しいハードウェアアーキテクチャは、非常に広くスパースなニューラルネットワーク層をシミュレートするための効率的なアーキテクチャとして最近紹介された。 我々は,MN3が合成,勾配伝搬,重み更新を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-03-03T20:11:33Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。