論文の概要: Architecture Agnostic Neural Networks
- arxiv url: http://arxiv.org/abs/2011.02712v2
- Date: Fri, 11 Dec 2020 05:06:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 11:31:53.721774
- Title: Architecture Agnostic Neural Networks
- Title（参考訳）: アーキテクチャ非依存ニューラルネットワーク
- Authors: Sabera Talukder, Guruprasad Raghavan, Yisong Yue
- Abstract要約: バックプロパゲーションによってトレーニングされていないアーキテクチャに依存しないニューラルネットワークのファミリーを作成します。
これらの高い性能のネットワークファミリーは、同じ空間性、二分重の分布を共有し、静的タスクと動的タスクの両方に成功している。
- 参考スコア（独自算出の注目度）: 33.803822613725984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we explore an alternate method for synthesizing neural network
architectures, inspired by the brain's stochastic synaptic pruning. During a
person's lifetime, numerous distinct neuronal architectures are responsible for
performing the same tasks. This indicates that biological neural networks are,
to some degree, architecture agnostic. However, artificial networks rely on
their fine-tuned weights and hand-crafted architectures for their remarkable
performance. This contrast begs the question: Can we build artificial
architecture agnostic neural networks? To ground this study we utilize sparse,
binary neural networks that parallel the brain's circuits. Within this sparse,
binary paradigm we sample many binary architectures to create families of
architecture agnostic neural networks not trained via backpropagation. These
high-performing network families share the same sparsity, distribution of
binary weights, and succeed in both static and dynamic tasks. In summation, we
create an architecture manifold search procedure to discover families or
architecture agnostic neural networks.
- Abstract（参考訳）: 本稿では,脳の確率的シナプスプラニングに触発されて,ニューラルネットワークアーキテクチャを合成する代替手法について検討する。
一生の間、多くの異なるニューロンアーキテクチャが同じタスクを実行する責任を担っている。
これは、生物学的ニューラルネットワークがある程度アーキテクチャに依存しないことを示している。
しかし、人工ネットワークはその優れた性能のために、微調整された重量と手作りのアーキテクチャに依存している。
人工アーキテクチャに依存しないニューラルネットワークを構築することは可能か?
この研究の基礎となるのは、脳の回路と平行する疎結合ニューラルネットワークである。
このスパースなバイナリパラダイムの中で、バックプロパゲーションによってトレーニングされていないアーキテクチャに依存しないニューラルネットワークのファミリーを作成するために、多くのバイナリアーキテクチャをサンプリングします。
これらの高パフォーマンスネットワークファミリは、同じスパース性、二分重みの分布を共有し、静的タスクと動的タスクの両方で成功する。
要約すると、我々は、家族やアーキテクチャに依存しないニューラルネットワークを発見するためのアーキテクチャ多様体探索手順を作成する。
関連論文リスト
- Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。
ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。
構造は違いをもたらすのか、それとも任意に選択できるのか?
論文 参考訳（メタデータ） (2024-10-12T16:13:28Z) - Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。
このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。
実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
論文 参考訳（メタデータ） (2024-10-10T19:57:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Neural Architecture Retrieval [27.063268631346713]
我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。
既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。
正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
論文 参考訳（メタデータ） (2023-07-16T01:56:41Z) - Functional2Structural: Cross-Modality Brain Networks Representation
Learning [55.24969686433101]
脳ネットワーク上のグラフマイニングは、臨床表現型および神経変性疾患のための新しいバイオマーカーの発見を促進する可能性がある。
本稿では,Deep Signed Brain Networks (DSBN) と呼ばれる新しいグラフ学習フレームワークを提案する。
臨床表現型および神経変性疾患予測の枠組みを,2つの独立した公開データセットを用いて検証した。
論文 参考訳（メタデータ） (2022-05-06T03:45:36Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳（メタデータ） (2021-07-30T03:37:00Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - A multi-agent model for growing spiking neural networks [0.0]
このプロジェクトでは、学習メカニズムとして、スパイキングニューラルネットワークのニューロン間の接続を拡大するためのルールについて検討している。
シミュレーション環境での結果は、与えられたパラメータセットに対して、テストされた関数を再現するトポロジに到達可能であることを示した。
このプロジェクトはまた、モデルパラメーターに最適な値を得るために、遺伝的アルゴリズムのようなテクニックを使用するための扉を開く。
論文 参考訳（メタデータ） (2020-09-21T15:11:29Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。