論文の概要: Hippocampal consolidation without replay in fully fine-tuned networks

• arxiv url: http://arxiv.org/abs/2611.01952v1
• Date: Sun, 01 Nov 2026 14:32:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:57:09.089942
• Title: Hippocampal consolidation without replay in fully fine-tuned networks
• Title（参考訳）: 完全微調整ネットワークにおけるリプレイを伴わない海馬統合
• Abstract要約: 完全にトレーニング可能なネットワークは、クロスタスクのリプレイや教師、推論時のメモリを使わずに学習し続ける。 各タスクの後、トレーニング専用の海馬記憶は、シナプスの各グループの入力幾何学をインデックス化する。
• 参考スコア（独自算出の注目度）: 2.7716102039510564
• License:
• Abstract: Networks that keep learning overwrite what they know. Prevailing remedies replay stored data, distil from old models or freeze the backbone. The brain suggests a different division of labour: the hippocampus indexes where experience lies in cortex while the cortex keeps learning. We show that this division lets a fully trainable network keep learning without cross-task replay, a teacher or inference-time memory. After each task, a training-only hippocampal memory indexes the input geometry of every group of synapses sharing an input, residual energy included, and limits each synapse's movement per direction before and after the optimizer. This class-free geometry carries most of the protection; with conflict detection on top, the method cuts absorption of established classes by near-duplicates several-fold against every compared method. To our knowledge, this is the first demonstration of one principle keeping whole networks learning across four architecture families and models up to 8 billion parameters. Methods that freeze the backbone hold up only as far as its representation already separates the classes; here the whole network keeps learning to tell near-duplicates apart, leading the frozen-backbone baseline by 17.5 points on TACRED. Without the memory, much old knowledge stays decodable but beyond the network's reach.
• Abstract（参考訳）: 学習を続けるネットワークは、自分が知っていることを上書きする。 保存されたデータを再生したり、古いモデルを消したり、バックボーンを凍結したりする。 海馬の指数は、大脳皮質が学習を続ける間、経験が大脳皮質にある。 この分割によって、完全にトレーニング可能なネットワークが、クロスタスクのリプレイや教師、推論時のメモリを使わずに学習し続けることが示される。 各タスクの後、トレーニング専用の海馬記憶は、入力、残エネルギーを含むすべてのシナプスの入力幾何学をインデックスし、オプティマイザの前後のそれぞれのシナプスの動きを制限する。 このクラスフリー幾何は、ほとんどの保護を担っているが、コンフリクト検出(コンフリクト検出)により、既存のクラスの吸収を、比較されたすべてのメソッドに対してほぼ2倍にすることで削減する。 私たちの知る限り、これはネットワーク全体が4つのアーキテクチャファミリとモデルにまたがって学習し、最大80億のパラメータを学習する最初の原則である。 バックボーンを凍結するメソッドは、その表現が既にクラスを分離している限りのみ保持される; ここでは、ネットワーク全体がほぼ重複していることを認識し続け、凍ったバックボーンのベースラインをTACREDで17.5ポイント先導する。 記憶がなければ、多くの古い知識は無視できないが、ネットワークの範囲を超えている。

関連論文リスト

• Memorization in image classification: test set behavior and scaling laws [4.870012761464388]
  深層ニューラルネットワークは自然タスクの一般化解を学習し、任意のマッピングを記憶できることが示される。 必要なネットワーク容量とトレーニング時間による記憶に及ぼすデータセットサイズの影響を検討する。 記憶ネットワークは普遍的な解法を学習しないが、さらなる調査を求める興味深い行動を示す。
  論文  参考訳（メタデータ） (2026-10-12T02:56:33Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• Social Hippocampus Memory Learning [54.381608978482184]
  SoHipはメモリ中心のソーシャル機械学習フレームワークだ。 モデル共有ではなく、メモリ共有を通じて異種エージェント間の協調を可能にする。 7つのベースラインを持つ2つのベンチマークデータセットの実験は、SoHipが既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-26T16:31:00Z)
• Infinite dSprites for Disentangled Continual Learning: Separating Memory Edits from Generalization [36.23065731463065]
  Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。 この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。 生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
  論文  参考訳（メタデータ） (2023-12-27T22:05:42Z)
• Can Neural Network Memorization Be Localized? [102.68044087952913]
  記憶化は、モデルの様々な層において、小さなニューロンの集合に限られる現象であることを示す。 我々は、サンプルの記憶をai決定されたニューロンに直接記憶できる新しい形式のドロップアウト -- $textitexample-tied dropout$を提案する。
  論文  参考訳（メタデータ） (2023-07-18T18:36:29Z)
• Multi-limb Split Learning for Tumor Classification on Vertically Distributed Data [0.8057006406834467]
  本稿では,脳腫瘍分類のための分割学習と垂直分布を実装した。 両手法を用いて,電車とテストの精度をそれぞれ90%,テストの精度を70%以上向上することができた。
  論文  参考訳（メタデータ） (2023-01-27T00:19:59Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
  ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。 脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。 このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-03-06T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。