論文の概要: Max and Coincidence Neurons in Neural Networks
- arxiv url: http://arxiv.org/abs/2110.01218v1
- Date: Mon, 4 Oct 2021 07:13:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-05 22:59:52.989518
- Title: Max and Coincidence Neurons in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける最大及び衝突ニューロン
- Authors: Albert Lee, Kang L. Wang
- Abstract要約: ニューラルアーキテクチャサーチを用いて、最大ニューロンと偶然ニューロンのモデルを含むネットワークを最適化する。
我々は、信号処理ResNetを開発するために最適化ネットワークの構造、動作、ニューロンを分析する。
開発されたネットワークは、精度が平均2%向上し、さまざまなデータセットでネットワークサイズが25%向上した。
- 参考スコア（独自算出の注目度）: 0.07614628596146598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Network design has been a central topic in machine learning. Large amounts of
effort have been devoted towards creating efficient architectures through
manual exploration as well as automated neural architecture search. However,
todays architectures have yet to consider the diversity of neurons and the
existence of neurons with specific processing functions. In this work, we
optimize networks containing models of the max and coincidence neurons using
neural architecture search, and analyze the structure, operations, and neurons
of optimized networks to develop a signal-processing ResNet. The developed
network achieves an average of 2% improvement in accuracy and a 25% improvement
in network size across a variety of datasets, demonstrating the importance of
neuronal functions in creating compact, efficient networks.
- Abstract（参考訳）: ネットワーク設計は機械学習の中心的なトピックである。
手作業による探索と自動ニューラルネットワーク検索を通じて、効率的なアーキテクチャ構築に多くの努力が注がれている。
しかし、今日のアーキテクチャは、ニューロンの多様性と特定の処理機能を持つニューロンの存在をまだ考慮していない。
本研究では,ニューラル・アーキテクチャ・サーチを用いて,最大および一致ニューロンのモデルを含むネットワークを最適化し,最適化されたネットワークの構造,動作,ニューロンを分析し,信号処理再ネットを構築する。
開発されたネットワークは、精度が平均2%向上し、さまざまなデータセットにわたるネットワークサイズが25%向上し、コンパクトで効率的なネットワークを作成する上での神経機能の重要性が示される。
関連論文リスト
- Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。
このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。
実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文 参考訳（メタデータ） (2024-10-10T19:57:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Functional Connectome: Approximating Brain Networks with Artificial
Neural Networks [1.952097552284465]
訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。
訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。
本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
論文 参考訳（メタデータ） (2022-11-23T13:12:13Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Fourier Neural Networks for Function Approximation [2.840363325289377]
ニューラルネットワークが普遍近似器であることは広く証明されている。
特に、狭いニューラルネットワークが、ディープニューラルネットワークによって実装されている関数を近似するために、ネットワークは指数関数的に多数のニューロンを取ることが証明されている。
論文 参考訳（メタデータ） (2021-10-21T09:30:26Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T02:03:08Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。