論文の概要: Cortex-Inspired Continual Learning: Unsupervised Instantiation and Recovery of Functional Task Networks

• arxiv url: http://arxiv.org/abs/2604.24637v1
• Date: Mon, 27 Apr 2026 16:06:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.137524
• Title: Cortex-Inspired Continual Learning: Unsupervised Instantiation and Recovery of Functional Task Networks
• Title（参考訳）: コーテックスにインスパイアされた連続学習 : 教師なしのインスティファイションと機能的タスクネットワークの回復
• Authors: Kevin McKee, Thomas Hazy, Yicong Zheng, Zacharie Bugaud, Thomas Miconi,
• Abstract要約: ブロックシーケンス連続学習では、1つのモデルが先行するソリューションを保護し、先行するソリューションがタスクラベルなしで現在の入力と一致する推論時間で効率的に推論することを要求する。 哺乳動物新皮質に見られる構造的および動的モチーフにインスパイアされたパラメータアイソレーション法であるFunction Task Networks (FTN) を提案する。
• 参考スコア（独自算出の注目度）: 2.9490560350642405
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Block-sequential continual learning demands that a single model both protect prior solutions from catastrophic forgetting and efficiently infer at inference time which prior solution matches the current input without task labels. We present Functional Task Networks (FTN), a parameter-isolation method inspired by structural and dynamical motifs found in the mammalian neocortex. Similar to mixture-of-experts, this method uses a high dimensional, self-organizing binary mask over a large population of small but deep networks, inspired by dendritic models of pyramidal neurons. The mask is produced by a three-stage procedure: (1) gradient descent on a continuous mask identifies task-relevant neurons, (2) a smoothing kernel biases the result toward spatial contiguity, (3) and k-winner-take-all binarizes the resulting group at a fixed capacity budget. Like mixture-of-experts, each neuron is an independent deep network, so disjoint masks give exactly disjoint gradient updates, providing structural guarantees against catastrophic forgetting. This three-stage procedure recovers the sub-network of a previously-trained task in a single gradient step, providing unsupervised task segmentation at inference time. We test it on three continual-learning benchmarks: (1) a synthetic multi-task classification/regression generator, (2) MNIST with shuffled class labels (pure concept shift), and (3) Permuted MNIST (domain shift). On all three, FTN with fine grained smoothing (FTN-Slow) results in nearly zero forgetting. FTN with a large kernel and only 2 iterations of smoothing (FTN-Fast) trades off some retention for increased speed. We show that the spatial organization mechanism reduces the effective mask search from the combinatorial top-k subset problem in O(C(H,K)) to the complexity of a near-linear scan in O(H) over compact cortical neighborhoods, which is parallelized by the gradient-based update.
• Abstract（参考訳）: ブロックシークエンシャルな連続学習では、ひとつのモデルが前者のソリューションを破滅的な忘れから保護し、前者のソリューションがタスクラベルなしで現在の入力と一致する推論時間で効率的に推論することを要求する。 哺乳動物新皮質に見られる構造的および動的モチーフにインスパイアされたパラメータアイソレーション法であるFunction Task Networks (FTN) を提案する。 エキスパートの混合と同様に、この方法はピラミッド状ニューロンの樹状モデルにインスパイアされた、多数の小さいが深いネットワーク上の高次元で自己組織化された2次元マスクを使用する。 1)連続マスク上の勾配降下がタスク関連ニューロンを識別し、(2)スムーズなカーネルが空間的連続性に偏り、(3)k-winner-take-allが固定容量予算で結果群をバイナライズする。 専門家の混合と同様に、各ニューロンは独立した深層ネットワークであるため、解離したマスクは正確に解離した勾配を更新し、破滅的な忘れ物に対する構造的保証を与える。 この3段階の手順は、事前訓練されたタスクのサブネットワークを単一の勾配ステップで復元し、推論時に教師なしタスクセグメンテーションを提供する。 我々は,(1)合成マルチタスク分類/回帰生成器,(2)シャッフルクラスラベル付きMNIST(純概念シフト),(3)可変MNIST(ドメインシフト)の3つの連続学習ベンチマークで検証した。 3つとも、微細な粒度平滑化(FTN-Slow)を持つFTNは、ほぼゼロとなる。 FTNは大きなカーネルを持ち、スムージング(FTN-Fast)の2イテレーションしか持たないため、若干のリテンションが保たれる。 本研究では,O(C(H,K) の組合せ的トップk部分集合問題から,O(H) のコンパクトな皮質近傍におけるニアリニアスキャンの複雑さへの効果的なマスク探索が,勾配に基づく更新によって並列化されることを示す。

関連論文リスト

• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing [5.846028298833611]
  Conditionally Overlapping Mixture of ExperTs (COMET) は、モジュラーでスパースなアーキテクチャを、指数関数的に重複する専門家数で誘導する一般的なディープラーニング手法である。 画像分類,言語モデリング,回帰といったタスクにおけるCOMETの有効性を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:58:18Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Deep Convolutional Learning-Aided Detector for Generalized Frequency Division Multiplexing with Index Modulation [0.0]
  提案手法は、まずゼロフォース検出器(ZF)を用いて受信信号を前処理し、その後、畳み込みニューラルネットワーク(CNN)と完全連結ニューラルネットワーク(FCNN)からなるニューラルネットワークを用いる。 FCNN部は2つの完全に接続された層しか使用せず、複雑さとBER(bit error rate)パフォーマンスのトレードオフをもたらすことができる。 提案したディープ畳み込みニューラルネットワークに基づく検出・復調方式は,ZF検出器よりも高いBER性能を示し,複雑性が増大することが実証されている。
  論文  参考訳（メタデータ） (2022-02-06T22:18:42Z)
• Consistent Recurrent Neural Networks for 3D Neuron Segmentation [28.105293815657845]
  画像中の各物体の2値マスクを連続的に生成するニューロンの3次元再構成のためのリカレントネットワークを提案する。 本手法は神経節分割のための3つのベンチマークで評価し,SN3D課題における最先端性能を達成した。
  論文  参考訳（メタデータ） (2021-02-01T17:54:46Z)
• NOMA in UAV-aided cellular offloading: A machine learning approach [59.32570888309133]
  複数の無人航空機(UAV)によるセルローディングのための新しい枠組みの提案 非直交多重アクセス(NOMA)技術は、無線ネットワークのスペクトル効率をさらに向上するために、各UAVに採用されている。 相互深いQ-network (MDQN) アルゴリズムは,UAVの最適3次元軌道と電力配分を共同で決定するために提案される。
  論文  参考訳（メタデータ） (2020-10-18T17:38:48Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT Prostate Segmentation via Online Sampling [66.01558025094333]
  本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。 マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。 本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
  論文  参考訳（メタデータ） (2020-05-15T10:37:02Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。