論文の概要: HiCL: Hippocampal-Inspired Continual Learning

• arxiv url: http://arxiv.org/abs/2508.16651v1
• Date: Tue, 19 Aug 2025 23:40:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.085941
• Title: HiCL: Hippocampal-Inspired Continual Learning
• Title（参考訳）: HiCL: 海馬にインスパイアされた継続的学習
• Authors: Kushal Kapoor, Wyatt Mackey, Yiannis Aloimonos, Xiaomin Lin,
• Abstract要約: HiCLは、海馬にインスパイアされたデュアルメモリ連続学習アーキテクチャである。 海馬回路にインスパイアされた要素を用いて、破滅的な忘れを緩和する方法を示す。
• 参考スコア（独自算出の注目度）: 14.349317103576558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose HiCL, a novel hippocampal-inspired dual-memory continual learning architecture designed to mitigate catastrophic forgetting by using elements inspired by the hippocampal circuitry. Our system encodes inputs through a grid-cell-like layer, followed by sparse pattern separation using a dentate gyrus-inspired module with top-k sparsity. Episodic memory traces are maintained in a CA3-like autoassociative memory. Task-specific processing is dynamically managed via a DG-gated mixture-of-experts mechanism, wherein inputs are routed to experts based on cosine similarity between their normalized sparse DG representations and learned task-specific DG prototypes computed through online exponential moving averages. This biologically grounded yet mathematically principled gating strategy enables differentiable, scalable task-routing without relying on a separate gating network, and enhances the model's adaptability and efficiency in learning multiple sequential tasks. Cortical outputs are consolidated using Elastic Weight Consolidation weighted by inter-task similarity. Crucially, we incorporate prioritized replay of stored patterns to reinforce essential past experiences. Evaluations on standard continual learning benchmarks demonstrate the effectiveness of our architecture in reducing task interference, achieving near state-of-the-art results in continual learning tasks at lower computational costs.
• Abstract（参考訳）: 海馬回路にインスパイアされた要素を利用することで、破滅的な忘れを軽減すべく設計された、海馬にインスパイアされた新しいデュアルメモリ連続学習アーキテクチャであるHiCLを提案する。 我々のシステムはグリッドセルライクな層を介し入力を符号化し、次いでトップk間隔のジラスインスパイアされたモジュールを用いてスパースパターン分離を行う。 エピソードメモリトレースはCA3のような自己解離性メモリで維持される。 タスク固有の処理はDG-gate Mixed-of-expertsメカニズムによって動的に管理され、入力は正規化されたスパースDG表現とオンライン指数移動平均によって計算される学習されたタスク固有のDGプロトタイプのコサイン類似性に基づいて専門家にルーティングされる。 この生物学的基盤を持つ数学的に原則化されたゲーティング戦略は、別々のゲーティングネットワークに頼ることなく、微分可能でスケーラブルなタスクルーティングを可能にし、複数のシーケンシャルタスクを学習する際のモデルの適応性と効率を高める。 タスク間類似度により重み付けされた弾性重み統合を用いて、皮質出力を積分する。 重要なことは、重要な過去の経験を強化するために、保存されたパターンの優先順位付けされたリプレイを取り入れています。 標準連続学習ベンチマークによる評価は,計算コストの低い連続学習タスクにおいて,タスク干渉を低減し,最先端に近い結果を得る上で,我々のアーキテクチャの有効性を示すものである。

関連論文リスト

• Stackelberg Coupling of Online Representation Learning and Reinforcement Learning [49.00028802135605]
  表現と政策の統合的エンドツーエンド学習は、深層強化学習(RL)の基盤のままである。 最近のトレンドは、複雑な補助的な目的や、2つのプロセスを完全に分離することへと移行している。 この研究は、性能を著しく改善できると主張し、疎結合と素直なエンドツーエンド学習の両方に代わるものを提案する。
  論文  参考訳（メタデータ） (2025-08-10T18:36:54Z)
• Dynamic Context-oriented Decomposition for Task-aware Low-rank Adaptation with Less Forgetting and Faster Convergence [131.41894248194995]
  タスク認識方式でアダプタを初期化する新しい手法であるコンテキスト指向分解適応(CorDA)を提案する。 本手法は,タスク認識により,知識保存モード (KPM) と命令レビューモード (IPM) の2つのオプション適応モードを実現する。
  論文  参考訳（メタデータ） (2025-06-16T07:55:14Z)
• Probing In-Context Learning: Impact of Task Complexity and Model Architecture on Generalization and Efficiency [10.942999793311765]
  タスクの複雑さとモデルアーキテクチャを体系的に変化させる、巧妙な実験フレームワークを用いて、文脈内学習(ICL)について検討する。 GPT2スタイルのトランスフォーマー、FlashAttention機構を備えたトランスフォーマー、畳み込みハイエナモデル、Mamba状態空間モデルという4つの異なるモデルを評価した。
  論文  参考訳（メタデータ） (2025-05-10T00:22:40Z)
• From RAG to Memory: Non-Parametric Continual Learning for Large Language Models [6.380729797938521]
  検索強化世代(RAG)は、新しい情報を導入する主要な方法となっている。 最近のRAGは、知識グラフのような様々な構造を持つベクトル埋め込みを拡大して、いくつかのギャップ、すなわちセンスメイキングと連想性に対処している。 我々は,現実的,感覚的,連想的なメモリタスクにおいて,標準RAGを総合的に上回るフレームワークであるHippoRAG 2を提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:26:02Z)
• Multi-task Over-the-Air Federated Learning: A Non-Orthogonal Transmission Approach [52.85647632037537]
  複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。 収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
  論文  参考訳（メタデータ） (2021-06-27T13:09:32Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
  本稿では,不対向画像分割のための新しい学習手法を提案する。 提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。 我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
  論文  参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。