論文の概要: Neural Cellular Automata Learn General Features in their Hidden Channels

• arxiv url: http://arxiv.org/abs/2609.21870v1
• Date: Fri, 18 Sep 2026 14:58:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.156613
• Title: Neural Cellular Automata Learn General Features in their Hidden Channels
• Title（参考訳）: ニューラルセルオートマタは隠れたチャネルで一般的な特徴を学習する
• Abstract要約: 本稿では,教師の隠れた状態を学生モデルに注入し,早期最適化を指導するトランスファー学習機構を提案する。 少数ショットおよびスケールバリエーションのMNISTベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep learning models achieve impressive generalization through over-parameterization, but this paradigm often struggles with overfitting and memorization in few-shot regimes. Neural Cellular Automata (NCAs) offer a highly parameter-efficient alternative, yet research has focused primarily on their output, leaving the role of their internal hidden channels largely unexplored. In this paper, we investigate the internal dynamics of NCA hidden channels and introduce a novel transfer-learning mechanism that injects a pretrained teacher's hidden states into a student model to guide early optimization. Evaluated on few-shot and scale-variant MNIST benchmarks, NCAs outperform comparable recurrent and feed-forward architectures, demonstrating superior generalization with a minimal parameter budget (~9,800 parameters). Mechanistic analysis reveals that the hidden channels decouple feature extraction from uniform classification consensus by absorbing morphological complexity and converging to mutually orthogonal states. Furthermore, we demonstrate that these hidden channels capture general, scale-invariant topological primitives rather than class-specific templates. This allows a student model to achieve strong few-shot performance on unseen classes using features transferred from a teacher trained only on a subset of digits (0-5). Our results highlight the potential of utilizing hidden-state dynamics as a robust, decentralized computational substrate for parameter-efficient transfer learning
• Abstract（参考訳）: 現代のディープラーニングモデルは、過度なパラメータ化を通じて印象的な一般化を実現するが、このパラダイムは、数ショット体制における過度な適合と記憶に苦しむことが多い。 ニューラルセルラーオートマタ(NCA)はパラメータ効率が高い代替手段を提供するが、研究は主に出力に焦点を当てており、内部の隠れチャネルの役割はほとんど解明されていない。 本稿では,NCA隠れチャネルの内部動態を考察し,事前学習した教師の隠蔽状態を学生モデルに注入し,早期最適化を導出するトランスファー学習機構を導入する。 最小パラメータ予算 (~9,800パラメータ) で優れた一般化を証明し、少数ショットおよびスケールバリエーションのMNISTベンチマークで評価し、NACは同等の繰り返しおよびフィードフォワードアーキテクチャを上回る性能を示した。 メカニカル分析により,形態的複雑性を吸収し,相互直交状態に収束することにより,一様分類のコンセンサスから特徴抽出を分離することが明らかとなった。 さらに,これらの隠れチャネルは,クラス固有のテンプレートではなく,一般的な,スケール不変なトポロジプリミティブをキャプチャすることを示した。 これにより、学生モデルは、数字のサブセット(0-5)でのみ訓練された教師から受け継がれた機能を使って、目に見えないクラスで強力な数ショットのパフォーマンスを達成することができる。 我々の結果は、パラメータ効率の伝達学習のための頑健で分散化された計算基板として隠れ状態力学を利用する可能性を強調した。

関連論文リスト

• Simplifying Neural Networks During Training [1.7966001353008778]
  トレーニング中のディープネットワークを簡素化するためのNCにインスパイアされたトレーニングフレームワークを提案する。 Inverse Fisher Criterion による表現力学のモニタリングを行う。 次に、後続のプロキシ層を軽量な分類ヘッドに置き換え、縮小モデルのトレーニングを継続します。
  論文  参考訳（メタデータ） (2026-07-30T08:32:40Z)
• A Theoretical Analysis of Mamba's Training Dynamics: Filtering Relevant Features for Generalization in State Space Models [36.99162631444728]
  単純だが代表的なマンバブロックに対する一般化と学習ダイナミクスの第一段階解析について述べる。 本研究は,トークンレベルのノイズの下で,クラス関連パターンとクラス関連パターンの両方を含むトークンを持つ構造化データモデルを採用する。 非漸近的なサンプル複雑性と収束率境界を確立することにより、モデルが保証された一般化を実現することを証明した。
  論文  参考訳（メタデータ） (2026-02-13T00:44:26Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks [6.585049648605185]
  自己監督型自動学習(SSAL)モデルの概念を紹介します。 SSALの目的は、元の教師付き分類タスクから派生した1つ以上の追加目標によって実現される。 SSALモデルは、より解釈しやすい構造化された予測を提供しながら、常に最先端を上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。