論文の概要: Biologically Inspired Mechanisms for Facilitating Grokking in Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2608.28184v1
• Date: Fri, 28 Aug 2026 10:55:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.294842
• Title: Biologically Inspired Mechanisms for Facilitating Grokking in Multilayer Perceptrons
• Title（参考訳）: 多層膜パーセプトロンの凝集促進機構
• Abstract要約: 本稿では, バイオインスパイアされたメカニズムが, ニューラルネットワークに一般的に組み込まれていないため, この遷移を積極的に促進できるかどうかを考察する。 入力ゲーティング, 構造塑性, 利得変調, 閾値変調, ホメオスタシス, 側方抑制, アクティベーションデコレーションによる多層パーセプトロンを増強し, これらの機構を評価した。 結果は、このメカニズムが一般化に不平等に寄与していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Grokking is a delayed transition from memorization to generalization that is often accompanied by substantial reorganization of internal representations. This paper studies whether biologically inspired mechanisms, many of which are not commonly incorporated into artificial neural networks, can actively promote this transition by regulating hidden-layer computation at the levels of neuronal activity, response, and effective connectivity. We augment a multilayer perceptron with input gating, structural plasticity, gain modulation, threshold modulation, homeostasis, lateral inhibition, and activation decorrelation, and evaluate these mechanisms through systematic ablations on two established grokking benchmarks: sparse parity and noisy XOR classification. The results show that the mechanisms contribute unequally to generalization. Homeostasis provides the strongest and most consistent benefit, while structural sparsification emerges as the second major mechanism. The remaining biologically inspired mechanisms have smaller or less consistent effects in the present experiments. For both problems, the results support the common principle that explicit regulation of neuron utilization and effective connectivity can improve the emergence of generalizable internal computation. These findings motivate broader investigation of biologically inspired activity regulation and adaptive sparsification, including in large language models, where they may accelerate the development of generalizable representations and reduce the optimization time required for robust generalization.
• Abstract（参考訳）: グロキングは記憶から一般化への遅れた遷移であり、しばしば内部表現の実質的な再編成を伴う。 本稿では, 神経活動, 応答, 効果的な接続性のレベルにおいて, 隠れ層計算を制御し, 生物学的にインスパイアされたメカニズムが, 多くは人工ニューラルネットワークに組み込まれていないかを検討した。 入力ゲーティング, 構造的塑性, 利得変調, 閾値変調, ホメオスタシス, 横方向の抑制, アクティベーションデコレーションを併用した多層パーセプトロンを作製し, これらの機構を, スパースパリティとノイズXOR分類の2つの確立されたグルーキングベンチマークの系統的改善により評価した。 その結果, この機構が一般化に不平等に寄与していることが示唆された。 ホメオスタシスは最も強く、最も一貫した利益をもたらすが、構造的スペーサー化は第2の主要なメカニズムとして現れる。 残りの生物学的にインスパイアされたメカニズムは、この実験において、より小さいか、より一貫性のない効果を持つ。 両方の問題に対して、結果はニューロン利用と効果的な接続性の明示的な規制が一般化可能な内部計算の出現を改善するという共通原理を支持する。 これらの知見は、大規模言語モデルを含む、生物学的にインスパイアされた活動規制と適応的なスパース化の広範な研究を動機付け、一般化可能な表現の開発を加速させ、堅牢な一般化に必要な最適化時間を短縮する可能性がある。

関連論文リスト

• A neural-astrocyte architecture implements a hybrid automaton for evidence accumulation [0.0]
  アストロサイトは神経細胞以外のグリア細胞であり、神経計算における役割により広く注目を集めている。 本研究では、アストロサイトが強化学習環境において、ニューラルネットワークが文脈を推測する能力を増強するメカニズムについて検討する。
  論文  参考訳（メタデータ） (2026-09-14T18:49:14Z)
• Multi-Scale Temporal Homeostasis Enables Efficient and Robust Neural Networks [0.0]
  Multi-Scale Temporal Homeostasis (MSTH)は、超高速(5-ms)、高速(2-s)、中速(5-min)、低速(1-hrs)の制御を人工ネットワークに統合するフレームワークである。 MSTHは、常に精度を向上し、破滅的な失敗を排除し、摂動からの回復を促進する。
  論文  参考訳（メタデータ） (2026-01-30T13:33:29Z)
• General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。 本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。 この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
  論文  参考訳（メタデータ） (2026-01-29T15:08:48Z)
• Latent Causal Diffusions for Single-Cell Perturbation Modeling [83.47931153555321]
  測定ノイズ下で観察された定常拡散過程として単細胞遺伝子発現をフレーム化する生成モデルを提案する。 LCDはシングルセルRNAシークエンシングスクリーンにおいて、目に見えない摂動の組み合わせの分布変化を予測するために確立されたアプローチより優れていた。 我々は、摂動応答(CLIPR)を介して因果線形化と呼ばれるアプローチを開発し、全ての遺伝子間の直接的な因果効果を近似する。
  論文  参考訳（メタデータ） (2026-01-20T16:15:38Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• BioOSS: A Bio-Inspired Oscillatory State System with Spatio-Temporal Dynamics [6.273703979947789]
  BioOSSは、ニューラル処理に不可欠な波状伝播ダイナミクスをエミュレートするように設計されている。 このモデルは減衰と伝播速度のトレーニング可能なパラメータを組み込んでおり、タスク固有の時間構造への柔軟な適応を可能にしている。 合成タスクと実世界のタスクの両方でBioOSSを評価し、代替アーキテクチャと比較して優れた性能と高い解釈性を示す。
  論文  参考訳（メタデータ） (2025-10-12T20:12:33Z)
• A Brain-Inspired Gating Mechanism Unlocks Robust Computation in Spiking Neural Networks [5.647576619206974]
  神経活動に応じて膜伝導が進化する新しいスパイクユニットであるDynamic Gated Neuron(DGN)を紹介する。 この結果から, 生物学的に妥当な動的ゲーティングが, 強靭なスパイクベースの計算の鍵となる機構であることを初めて強調した。
  論文  参考訳（メタデータ） (2025-09-03T13:00:49Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• IP$^{2}$-RSNN: Bi-level Intrinsic Plasticity Enables Learning-to-learn in Recurrent Spiking Neural Networks [20.88195975299024]
  2レベル内在性可塑性を有する繰り返しスパイクニューラルネットワーク(IP$2$-RSNN)を開発した。 以上の結果から,RSNNにおけるL2Lの実現には,両レベルの内在性可塑性が重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2025-01-24T14:45:03Z)
• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• Delving Deeper Into Astromorphic Transformers [1.7595244858303718]
  本稿では,トランスフォーマーの自己保持機構を模倣するために,ニューロン-シナプス-アストロサイト相互作用の様々な重要な側面を深く掘り下げる。 感情とイメージの分類タスクの分析は、アストロモルフィックトランスフォーマーの利点を強調し、精度と学習速度を改善した。
  論文  参考訳（メタデータ） (2023-12-18T04:35:07Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。