論文の概要: Noradrenergic-inspired gain modulation attenuates the stability gap in joint training

• arxiv url: http://arxiv.org/abs/2507.14056v1
• Date: Fri, 18 Jul 2025 16:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.35863
• Title: Noradrenergic-inspired gain modulation attenuates the stability gap in joint training
• Title（参考訳）: ノルアドレナリン作動性利得調節は関節トレーニングにおける安定性のギャップを軽減する
• Authors: Alejandro Rodriguez-Garcia, Anindya Ghosh, Srikanth Ramaswamy,
• Abstract要約: 連続学習の研究は、安定性ギャップとして知られる新しいタスクを同化する際に、マスターされたタスクのパフォーマンスが過度に低下することを発見した。 タスク境界における迅速な適応と堅牢な保持のバランスの不均衡を反映していると我々は主張する。 結節性好中球を介するノルアドレナリン系バーストに着想を得て,不確実性変調ゲインダイナミクスを提案する。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies in continual learning have identified a transient drop in performance on mastered tasks when assimilating new ones, known as the stability gap. Such dynamics contradict the objectives of continual learning, revealing a lack of robustness in mitigating forgetting, and notably, persisting even under an ideal joint-loss regime. Examining this gap within this idealized joint training context is critical to isolate it from other sources of forgetting. We argue that it reflects an imbalance between rapid adaptation and robust retention at task boundaries, underscoring the need to investigate mechanisms that reconcile plasticity and stability within continual learning frameworks. Biological brains navigate a similar dilemma by operating concurrently on multiple timescales, leveraging neuromodulatory signals to modulate synaptic plasticity. However, artificial networks lack native multitimescale dynamics, and although optimizers like momentum-SGD and Adam introduce implicit timescale regularization, they still exhibit stability gaps. Inspired by locus coeruleus mediated noradrenergic bursts, which transiently enhance neuronal gain under uncertainty to facilitate sensory assimilation, we propose uncertainty-modulated gain dynamics - an adaptive mechanism that approximates a two-timescale optimizer and dynamically balances integration of knowledge with minimal interference on previously consolidated information. We evaluate our mechanism on domain-incremental and class-incremental variants of the MNIST and CIFAR benchmarks under joint training, demonstrating that uncertainty-modulated gain dynamics effectively attenuate the stability gap. Finally, our analysis elucidates how gain modulation replicates noradrenergic functions in cortical circuits, offering mechanistic insights into reducing stability gaps and enhance performance in continual learning tasks.
• Abstract（参考訳）: 連続学習における最近の研究は、安定性ギャップとして知られる新しいタスクを同化する際に、マスターされたタスクのパフォーマンスが過度に低下することを特定している。 このような力学は連続的な学習の目的と矛盾し、忘れることの緩和における堅牢性の欠如、そして特に理想的な連帯体制の下でも持続することを明らかにする。 この理想化された共同トレーニングコンテキスト内のこのギャップを理解することは、それを他の忘れるソースから分離することが重要である。 課題境界における急激な適応と頑健な維持のバランスの不均衡を反映し、継続的な学習枠組みの中で可塑性と安定性を調和させるメカニズムを解明する必要性を浮き彫りにしている。 生物学的脳は、複数の時間スケールで同時に動作し、シナプス可塑性を調節するために神経調節シグナルを活用することで同様のジレンマをナビゲートする。 しかし、人工ネットワークにはネイティブなマルチタイムスケールのダイナミクスが欠けており、運動量SGDやAdamのようなオプティマイザは暗黙の時間スケール正規化を導入しているが、安定性のギャップがまだ残っている。 感覚同化を促進するために神経の利得を過度に増強するノルアドレナリンバーストにインスパイアされ、2時間スケールのオプティマイザを近似し、以前に統合された情報に対する最小限の干渉と知識の統合を動的にバランスさせる適応機構である不確実性変調ゲインダイナミクスを提案する。 我々は,MNISTベンチマークとCIFARベンチマークのドメイン増分およびクラス増分変化のメカニズムを共同トレーニングで評価し,不確実性変調ゲインダイナミクスが安定性のギャップを効果的に緩和することを示した。 最後に,脳皮質回路のノルアドレナリン機能に対する利得変調の効果を解明し,安定性のギャップを減らし,連続学習タスクの性能を高めるための力学的な知見を提供する。

関連論文リスト

• LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments [0.0]
  ディープニューラルネットワークのトレーニング、特にコンピュータビジョンタスクは、ノイズの多い勾配に悩まされることが多い。 我々はAdamの適応モーメント推定とLyapunovに基づく安定性機構を統合する小説LyAmを提案する。 LyAmは、精度、収束性、速度、安定性の点で、最先端設定を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-15T12:35:13Z)
• Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
  塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。 マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-30T20:52:21Z)
• Spiking Neural Networks with Temporal Attention-Guided Adaptive Fusion for imbalanced Multi-modal Learning [32.60363000758323]
  マルチモーダルスパイクニューラルネットワーク(SNN)のための時間的注意誘導型適応融合フレームワークを提案する。 提案フレームワークは,特に時間次元において適応的融合を実装し,マルチモーダル学習におけるモダリティの不均衡を軽減する。 本システムは,学習可能なタイムワープ操作と,ベースラインSNNよりも高速なモーダリティ収束調整により,時間的ずれを解消する。
  論文  参考訳（メタデータ） (2025-05-20T15:55:11Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Mastering Continual Reinforcement Learning through Fine-Grained Sparse Network Allocation and Dormant Neuron Exploration [28.75006029656076]
  本稿では,細粒度配置戦略により塑性を向上させる新しい構造ベースアプローチであるSSDEを紹介する。 SSDEは、パラメータ空間をフォワードトランスファー(フリーズ)パラメータとタスク固有の(トレーニング可能な)パラメータに分解する。 CW10-v1 Continual Worldベンチマークの実験では、SSDEが最先端のパフォーマンスを達成し、95%の成功率に達した。
  論文  参考訳（メタデータ） (2025-03-07T08:58:07Z)
• Unconditional stability of a recurrent neural circuit implementing divisive normalization [0.0]
  任意次元ORGaNICs回路における非条件局所安定性の顕著な特性を証明した。 ORGaNICsは、勾配のクリッピング/スケーリングなしで、時間経過によるバックプロパゲーションによって訓練できることを示す。
  論文  参考訳（メタデータ） (2024-09-27T17:46:05Z)
• Neural Interaction Energy for Multi-Agent Trajectory Prediction [55.098754835213995]
  ニューラル・インタラクション・エナジー(MATE)によるマルチエージェント軌道予測(Multi-Agent Trajectory Prediction)というフレームワークを導入する。 MATEは神経相互作用エネルギーを用いてエージェントの対話運動を評価する。 時間的安定性を高めるために,エージェント間相互作用制約とエージェント内動作制約という2つの制約を導入する。
  論文  参考訳（メタデータ） (2024-04-25T12:47:47Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。