論文の概要: It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2606.23587v1
• Date: Mon, 22 Jun 2026 16:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 18:06:14.644068
• Title: It's Much Easier for Neural Networks to learn Game of Life Dynamics with the Right Activation Function: Polynomial Kolmogorov-Arnold Networks
• Title（参考訳）: ニューラルネットワークが正しい活性化機能を持つゲーム・オブ・ライフダイナミクスを学ぶのがずっと簡単である:ポリノミアル・コルモゴロフ・アルノルドネットワーク
• Authors: Tashin Ahmed, Q. Tyrell Davis,
• Abstract要約: 生活ルールの発見を探索問題から学習問題へと振り返る。 複数の代替アクティベーション関数を持つネットワーク変種は、正則線形ユニットの既定選択よりも有意に優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.19336815376402716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous work has found a gap between the scale of neural networks that reliably learn Conway's Game of Life, and minimal networks capable of representing the classic cellular automaton with hard-coded parameter values. Viewing neural network learning as a search process suggests a dependence on networks large enough to contain sub-networks with lucky initializations (sometimes known as 'winning tickets') that actually learn the task. In this work, we reorient our perspective from discovering Life rules as a search problem back to a learning problem, and reason that with fitting inductive biases, the problem should be much more amenable to minimal networks. We find that network variants with several alternative activation functions meaningfully outperform the default choice of Rectified Linear Units, and in particular, that a 2nd degree polynomial activation function consistently learns Life dynamics with or without the benefit of learning neural weights. Our results provide an informative demonstration of the benefits of matching learning to the task at hand and challenge the easy default choice of scale for all problems. In particular, we advocate for the use of cellular automata as simple test domains for developing strategies that can benefit machine learning for science, physics-based deep learning, and interpretable machine learning.
• Abstract（参考訳）: これまでの研究では、ConwayのGame of Lifeを確実に学習するニューラルネットワークの規模と、古典的なセルオートマトンをハードコードされたパラメータ値で表現できる最小限のネットワークの間にギャップが見つかった。 ニューラルネットワーク学習を検索プロセスとして見ることは、タスクを実際に学習する幸運な初期化(時には「勝利チケット」と呼ばれる)を持つサブネットワークを含むのに十分な大きさのネットワークに依存することを示唆している。 本研究では,検索問題としてのライフルールの発見から学習問題への回帰,帰納的バイアスを適用すれば,最小限のネットワークに対して,より快適な問題になる,という考え方を再検討する。 特に, 2次多項式活性化関数は, ニューラルウェイトを学習するか否かに関わらず, ライフダイナミクスを常に学習する。 この結果から,目前の課題に学習を合わせることのメリットを示唆し,すべての問題に対して簡単なデフォルトのスケール選択に挑戦する。 特に、我々は、科学、物理に基づくディープラーニング、解釈可能な機械学習の機械学習に有用な戦略を開発するための単純なテストドメインとしてセルオートマトンの使用を提唱する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Hebbian Continual Representation Learning [9.54473759331265]
  継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
  論文  参考訳（メタデータ） (2022-06-28T09:21:03Z)
• Beneficial Perturbation Network for designing general adaptive artificial intelligence systems [14.226973149346886]
  我々は、動的状況に対応するために、ネットワーク外、タスク依存バイアスユニットを付加した新しいタイプのディープニューラルネットワークを提案する。 我々のアプローチはメモリ効率が高く、パラメータ効率が高く、多くのタスクに対応でき、様々なタスクやドメインで最先端のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-09-27T01:28:10Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。