論文の概要: It's Hard for Neural Networks To Learn the Game of Life
- arxiv url: http://arxiv.org/abs/2009.01398v1
- Date: Thu, 3 Sep 2020 00:47:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 06:59:04.289818
- Title: It's Hard for Neural Networks To Learn the Game of Life
- Title(参考訳): ニューラルネットワークが生命のゲームを学ぶのは困難です
- Authors: Jacob M. Springer, Garrett T. Kenyon
- Abstract要約: 最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。
本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。
このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
- 参考スコア(独自算出の注目度): 4.061135251278187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efforts to improve the learning abilities of neural networks have focused
mostly on the role of optimization methods rather than on weight
initializations. Recent findings, however, suggest that neural networks rely on
lucky random initial weights of subnetworks called "lottery tickets" that
converge quickly to a solution. To investigate how weight initializations
affect performance, we examine small convolutional networks that are trained to
predict n steps of the two-dimensional cellular automaton Conway's Game of
Life, the update rules of which can be implemented efficiently in a 2n+1 layer
convolutional network. We find that networks of this architecture trained on
this task rarely converge. Rather, networks require substantially more
parameters to consistently converge. In addition, near-minimal architectures
are sensitive to tiny changes in parameters: changing the sign of a single
weight can cause the network to fail to learn. Finally, we observe a critical
value d_0 such that training minimal networks with examples in which cells are
alive with probability d_0 dramatically increases the chance of convergence to
a solution. We conclude that training convolutional neural networks to learn
the input/output function represented by n steps of Game of Life exhibits many
characteristics predicted by the lottery ticket hypothesis, namely, that the
size of the networks required to learn this function are often significantly
larger than the minimal network required to implement the function.
- Abstract(参考訳): ニューラルネットワークの学習能力を向上させる取り組みは、重み初期化よりも最適化手法の役割に重点を置いている。
しかし、最近の研究から、ニューラルネットワークは、ソリューションに素早く収束する"lottery ticket"と呼ばれるサブネットワークのラッキーな初期重みに依存することが示唆されている。
本研究では,2次元セルオートマトンであるコンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討し,その更新ルールを2n+1層畳み込みネットワークで効率的に実装できることを示した。
このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
むしろ、ネットワークは一貫して収束するためにかなり多くのパラメータを必要とする。
さらに、最小に近いアーキテクチャは、パラメータの小さな変更に敏感である。
最後に, セルが生存している場合の最小ネットワークをd_0の確率でトレーニングすることで, 解への収束確率が劇的に増加するように, 臨界値d_0を観察した。
ゲームオブライフのnステップで表される入出力関数を学ぶためのトレーニング畳み込みニューラルネットワークは、抽選券仮説によって予測される多くの特徴、すなわち、この関数を学習するために必要なネットワークのサイズは、関数を実装するのに必要な最小限のネットワークよりもはるかに大きい。
関連論文リスト
- Compelling ReLU Network Initialization and Training to Leverage Exponential Scaling with Depth [1.7205106391379021]
ReLUアクティベーションを持つニューラルネットワークは、断片的線形関数の合成と見なすことができる。
本稿では,ネットワークに多数のアクティベーションパターンを指数関数的に表示させる新たなトレーニング戦略を提案する。
このアプローチにより、無作為な1次元関数よりも数桁精度の高い凸関数の近似を学習することができる。
論文 参考訳(メタデータ) (2023-11-29T19:09:48Z) - ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。
我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。
これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2023-01-13T19:52:30Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳(メタデータ) (2021-11-15T22:33:52Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳(メタデータ) (2021-07-07T16:59:14Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳(メタデータ) (2021-03-02T03:23:03Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳(メタデータ) (2021-02-17T04:47:18Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。