論文の概要: Local Pheromone Network: Sparse Local Learning with Multi-Scale Synaptic Trails, Consolidation, and Replay
- arxiv url: http://arxiv.org/abs/2606.30669v1
- Date: Mon, 22 Jun 2026 14:50:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:18.946985
- Title: Local Pheromone Network: Sparse Local Learning with Multi-Scale Synaptic Trails, Consolidation, and Replay
- Title（参考訳）: 局所フェロモンネットワーク: マルチスケールシナプストレイルによる疎局所学習, 統合, リプレイ
- Abstract要約: Local Pheromone Networkは、スパースでローカルで手動で更新されたニューラルネットワークのための小さな研究プロトタイプである。
各層は、局所誤差とコアクティビティから選択された局所シナプスの予算化されたサブセットに対して、フェロモン重み付きヘビアンスタイルの更新を実行する。
プロトタイプはローカルなリニアルールを学習し、タグやマスクを通じてパーティショニングされたメモリを保存し、統合下での忘れを低減し、競合下でのリプレイを使用する。
- 参考スコア（独自算出の注目度）: 12.511384609019975
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backpropagation-trained dense neural networks are powerful function approximators, but they couple learning across many parameters and can overwrite previous associations when tasks conflict. This paper describes Local Pheromone Network, a small research prototype for sparse, local, manually updated neural networks. In Local Pheromone Network, each output unit reads only a fixed local neighborhood of input units subject to geometric distance and molecular-tag compatibility. Each synapse stores a weight, a short-term pheromone trace, a long-term pheromone trace, and an optional consolidation state. Training does not call automatic differentiation. Instead, every layer performs a pheromone-weighted Hebbian-style update on a budgeted subset of local synapses selected from local error and co-activity. The update budget adapts online: it shrinks when loss improves and expands toward recently active neighborhoods when loss worsens. Optional mechanisms add structural plasticity, local replay, output masks for partitioned learning, and a target-free local contrastive step. We present the implementation, learning rule, and preliminary experiments on synthetic regression, partitioned memory, conflicting memory, consolidated conflict, structural plasticity, replay, and a synthetic long-context hybrid memory task. The prototype learns local linear rules, preserves partitioned memories through tags and masks, reduces forgetting under consolidation, and uses replay under conflict.
- Abstract（参考訳）: バックプロパゲーションで訓練された高密度ニューラルネットワークは強力な関数近似器であるが、多くのパラメータをまたいで学習し、タスクの衝突時に以前の関連を上書きすることができる。
本稿では,局所フェロモンネットワーク(Local Pheromone Network)について述べる。
局所フェロモンネットワークでは、各出力ユニットは、幾何学的距離と分子タグの整合性を受ける入力ユニットの固定された局所的な近傍のみを読み取る。
各シナプスは、重量、短期フェロモントレース、長期フェロモントレース、および任意の凝縮状態を保持する。
訓練は自動分化とは呼ばない。
代わりに、各層は、局所誤差とコアクティビティから選択された局所シナプスの予算化されたサブセットに対して、フェロモン重み付きヘビアンスタイルの更新を実行する。
更新予算はオンラインで適用され、損失が改善し、損失が悪化すると最近活発な地区へと拡大する。
任意のメカニズムは、構造的可塑性、局所的なリプレイ、分割学習のための出力マスク、ターゲットのない局所的なコントラストステップを追加する。
本稿では, 合成回帰, パーティショニングメモリ, コンフリクトメモリ, コンフリクトコンフリクトコンフリクト, 構造塑性, リプレイ, 合成長コンテキストハイブリッドメモリタスクの実装, 学習ルール, および予備実験について述べる。
プロトタイプはローカルな線形ルールを学習し、タグやマスクを通じてパーティショニングされたメモリを保存し、統合下での忘れを低減し、競合下でのリプレイを使用する。
関連論文リスト
- URCHIN: A Horizontal Spiking Language Model for Data-Constrained Pretraining [1.185706452828542]
BabyLMの課題は、発達的に評価可能な子スケールのデータから、モデルがどの程度の言語を学習できるかを測定することである。
本稿では,言語モデリングに並列化された階層型コネクトームスパイキング状態空間モデルを適用するURCHINを提案する。
3つのBabyLMトラック(Strict-100M、Strict-Small、Multilingual)にまたがって、URCHINは生物学的に信頼性が高く、効率的で、直接デプロイ可能な参照ポイントを提供する。
論文 参考訳（メタデータ） (2026-09-12T12:06:01Z) - A Local Perturbation Theory for Cross-Domain Interference and Recovery in Multi-Domain RL [49.589717630468876]
単一領域のRLは、上位変化ニューロン間の重なりが弱い、スパースで小振幅のパラメータの編集を生成する。
マルチドメインRLの局所モデルの下では、後続のドメイントレーニングは、主に2階の損傷項によって、以前のドメインに害を与えることが証明される。
論文 参考訳（メタデータ） (2026-06-01T15:44:56Z) - Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。
コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
論文 参考訳（メタデータ） (2026-04-28T19:21:21Z) - A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。
その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
論文 参考訳（メタデータ） (2026-01-11T03:25:38Z) - Weight transport through spike timing for robust local gradients [0.5236468296934584]
機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。
これにより、局所的な計算との整合が難しい対称性の制約が課される。
本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
論文 参考訳（メタデータ） (2025-03-04T14:05:39Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Visual Attention Emerges from Recurrent Sparse Reconstruction [82.78753751860603]
本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。
自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。
VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
論文 参考訳（メタデータ） (2022-04-23T00:35:02Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Information Bottleneck-Based Hebbian Learning Rule Naturally Ties
Working Memory and Synaptic Updates [0.0]
私たちは、バックプロパゲーションとその関連する問題を完全に回避する、別のアプローチを取っています。
深層学習における最近の研究は、情報ボトルネック(IB)を介してネットワークの各層を個別に訓練することを提案した。
この変調信号は、貯水池のような動作記憶を持つ補助回路で学習可能であることを示す。
論文 参考訳（メタデータ） (2021-11-24T17:38:32Z) - Biologically Plausible Training Mechanisms for Self-Supervised Learning
in Deep Networks [14.685237010856953]
我々は,深層ネットワークにおける自己教師付き学習(SSL)のための生物学的に妥当なトレーニング機構を開発する。
バックパゲーションの2つの選択肢のうちの1つを用いて学習を行うことができることを示す。
論文 参考訳（メタデータ） (2021-09-30T12:56:57Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。