論文の概要: NORACL: Neurogenesis for Oracle-free Resource-Adaptive Continual Learning

• arxiv url: http://arxiv.org/abs/2604.27031v1
• Date: Wed, 29 Apr 2026 15:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.727663
• Title: NORACL: Neurogenesis for Oracle-free Resource-Adaptive Continual Learning
• Title（参考訳）: NORACL:Oracleなしのリソース適応型継続的学習のための新生
• Authors: Karthik Charan Raghunathan, Christian Metzner, Laura Kriener, Melika Payvand,
• Abstract要約: 有限ネットワークは表現的資源と塑性資源に制限があると主張する。 要求されるキャパシティは、未知の将来のタスクストリームの特性に依存する。 神経成長を通じてオラクルアーキテクチャの問題に取り組むことにより,安定性・塑性ジレンマに対処するNORACLを提案する。
• 参考スコア（独自算出の注目度）: 0.22733025037924934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a continual learning setting, we require a model to be plastic enough to learn a new task and stable enough to not disturb previously learned capabilities. We argue that this dilemma has an architectural root. A finite network has limited representational and plastic resources, yet the required capacity depends on properties of the future task stream that are unknown: how many tasks will be encountered, and how much they overlap in feature space. Regularization-based methods preserve past knowledge within fixed-capacity architectures and therefore implicitly rely on an oracle architecture sized for this unknown future. When tasks are only weakly related, fixed architectures progressively run out of plastic resources; when tasks are few or strongly overlapping, models are often over-provisioned. Inspired by neurogenesis in biology, we propose NORACL to address the stability-plasticity dilemma by tackling the oracle architecture problem through neuronal growth. Starting from a compact network, NORACL grows only when needed by monitoring two complementary signals for representational and plasticity saturation. We evaluate NORACL against oracle-sized static baselines across varying task counts and geometries. Across all settings, NORACL achieves final average accuracies that are better than or on par with oracle-provisioned static baselines while using fewer parameters. Additionally, NORACL yields architectures with interpretable growth, i.e. dissimilar tasks predominantly expand feature-extraction layers, whereas tasks which rely on common features shift growth toward later feature-combination layers. Our analysis further explains why fixed-capacity networks lose plasticity as tasks accumulate, whereas NORACL creates fresh capacity for new tasks through growth. Together, these results show that adaptive neurogenesis pushes the stability-plasticity Pareto frontier of continual learning.
• Abstract（参考訳）: 継続的な学習環境では、新しいタスクを学ぶのに十分なプラスティックなモデルが必要であり、それまでの学習能力に支障をきたさないのに十分な安定性が必要である。 このジレンマはアーキテクチャのルーツであると主張する。 有限のネットワークは表現力と可塑性の資源に制限があるが、要求される能力は将来のタスクストリームの性質に依存する。 正規化に基づく手法は、固定容量アーキテクチャにおける過去の知識を保存し、それゆえ、この未知の未来のために大きさのオラクルアーキテクチャに暗黙的に依存する。 タスクが弱いだけの場合、固定されたアーキテクチャは徐々にプラスチック資源を使い果たし、タスクがほとんどあるいは強く重複する場合、モデルはしばしば過剰に計画される。 生物学における神経新生に触発されたNORACLは、神経成長を通じてオラクルアーキテクチャの問題に取り組むことにより、安定性と塑性のジレンマに対処する。 コンパクトネットワークから始めて、NORACLは2つの相補的な信号を監視して、表現と可塑性の飽和をモニターすることによって、必要に応じてのみ成長する。 我々はNORACLを様々なタスク数とジオメトリにわたるオラクルサイズの静的ベースラインに対して評価する。 すべての設定で、NORACLは、パラメータを減らしながら、オラクルが提案した静的ベースラインと同等または同等の最終的な平均精度を達成する。 さらに、NORACLは、解釈可能な成長を伴うアーキテクチャ、すなわち、異なるタスクは、主に特徴抽出層を拡大する一方、共通の特徴に依存したタスクは、後の特徴合成層へと成長をシフトさせる。 NORACLは成長によって新しいタスクに新たなキャパシティを創出するのに対し、固定容量ネットワークはタスクの蓄積に伴って可塑性を失う理由をさらに説明します。 これらの結果は、適応神経新生が持続学習の安定性と塑性をParetoフロンティアに押し上げることを示している。

関連論文リスト

• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks? [7.479827648985631]
  ニューロエボリューション(NE)は、局所最適化から逃れるための堅牢性、スケーラビリティ、能力について最近注目を集めている。 ステップゲートでは、ニューラルネットワークが論理回路をエミュレートし、モジュラー繰り返しと変分bを強調する設計で、エコロボットはブラックス物理エンジンを壁や障害物などの物体で拡張する。 実験により, NE法は伝達能力に違いがあり, RL法よりも高い結果が得られた。
  論文  参考訳（メタデータ） (2025-05-28T13:15:18Z)
• Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma [13.567823451714405]
  生涯学習は、学習した知識を維持しながら、新しい知識を継続的に獲得することを目的としている。 安定性-塑性ジレンマは、過去の知識(安定性)の保存と新しいタスク(塑性)を学習する能力のバランスをとるモデルを必要とする。 本稿では、単純で普遍的で効果的な戦略を通じてジレンマに対処するアダプタベースのフレームワークであるAdaLLを提案する。
  論文  参考訳（メタデータ） (2025-03-08T13:33:38Z)
• Active Causal Structure Learning with Latent Variables: Towards Learning to Detour in Autonomous Robots [49.1574468325115]
  人工知能(AGI)エージェントとロボットは、絶えず変化する環境やタスクに対処できなければならない。 我々は,潜伏変数(ACSLWL)を用いた能動的因果構造学習がAGIエージェントやロボット構築に必要な要素であると主張している。
  論文  参考訳（メタデータ） (2024-10-28T10:21:26Z)
• LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
  LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-10-22T16:26:05Z)
• ELiSe: Efficient Learning of Sequences in Structured Recurrent Networks [1.5931140598271163]
  局所的な常時オンおよび位相自由可塑性のみを用いて,効率的な学習シーケンスのモデルを構築した。 鳥の鳴き声学習のモックアップでELiSeの能力を実証し、パラメトリゼーションに関してその柔軟性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T17:30:34Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? [9.248882589228089]
  長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。 単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。 本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
  論文  参考訳（メタデータ） (2020-05-17T09:13:28Z)
• Exploring weight initialization, diversity of solutions, and degradation in recurrent neural networks trained for temporal and decision-making tasks [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、脳機能と構造をモデル化するために頻繁に使用される。 本研究では,時間変化刺激による時間・流れ制御タスクを行うために,小型完全接続型RNNを訓練した。
  論文  参考訳（メタデータ） (2019-06-03T21:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。