論文の概要: Dimensionality Controls When Modularity Helps in Continual Learning

• arxiv url: http://arxiv.org/abs/2606.17889v1
• Date: Tue, 16 Jun 2026 13:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.442744
• Title: Dimensionality Controls When Modularity Helps in Continual Learning
• Title（参考訳）: モジュラリティが継続的な学習に役立つときの次元制御
• Authors: Kathrin Korte, Christian Medeiros Adriano, Joachim Winther Pedersen, Eleni Nisioti, Sebastian Risi,
• Abstract要約: モジュラーアーキテクチャ,タスク類似性,表現的次元が構成連続学習をどのように形作るかを検討する。 高次元の「怠け者」体制では、両方のアーキテクチャは同様の性能と内部幾何学を達成する。 低次元の「豊かな」体制では、モジュラリティは決定的になる。
• 参考スコア（独自算出の注目度）: 3.841664335605703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional learning systems must balance plasticity, the ability to acquire new knowledge, with stability, the preservation of previously learned components, especially when tasks share structure and risk interference. We study how modular architecture, task similarity, and representational dimensionality jointly shape compositional continual learning in a sequential A-B-A paradigm, comparing a task-partitioned recurrent network to a single-network baseline while inducing high- and low-dimensional regimes via weight-scale manipulations. In a high-dimensional "lazy" regime, both architectures achieve similar performance and internal geometry, suggesting that explicit modular structure has little impact when representations are weakly constrained. In a lower-dimensional "rich" regime, modularity becomes decisive: the modular network develops graded task-specific subspaces that overlap for similar tasks, partially align for moderately dissimilar tasks, and separate for dissimilar tasks, yielding a more compositional and interpretable organization than the single network. These findings identify the representational regime induced by initialization scale, which co-varies with representational dimensionality, as a key factor governing when compositional, modular structure is functionally beneficial in continual learning, and support viewing safety and robustness as problems of adaptive allocation of representational subspaces rather than fixed separation versus sharing.
• Abstract（参考訳）: 構成学習システムは、可塑性、新しい知識を得る能力、安定性、以前に学んだコンポーネントの保存、特にタスクが構造とリスクの干渉を共有している場合のバランスをとる必要がある。 本稿では,A-B-Aパラダイムにおけるモジュールアーキテクチャ,タスク類似性,表現次元の連成型構成連続学習について検討し,タスク分割再帰ネットワークを単一ネットワークベースラインと比較し,重み付け操作による高次元と低次元のレジームを誘導する。 高次元の「怠慢」な体制では、どちらのアーキテクチャも同様の性能と内部幾何学を達成し、表現が弱く制約されたとき、明示的なモジュラ構造はほとんど影響しないことを示唆している。 モジュラーネットワークは、類似したタスクに重複し、部分的には適度に異なるタスクを調整し、異なるタスクを分離し、単一のネットワークよりも構成的で解釈可能な組織を生み出す。 これらの結果から, 構成的, モジュール構造が連続学習において機能的に有用である場合に, 表象次元と共用する初期化尺度による表現規則を重要要因とし, 固定的分離と共有というよりも, 表象部分空間の適応的配置の問題として, 視聴の安全性とロバスト性を支持した。

関連論文リスト

• MoRe: Modular Representations for Principled Continual Representation Learning on Sequential Data [17.462860448981953]
  継続的な学習は、以前に取得した知識を保持しながら、新しいデータに適応するモデルを必要とする。 既存のアプローチでは、モデルパラメータやアーキテクチャを教師付きタスク固有の方法で変更することで、この問題に対処しています。 アーキテクチャレベルで割り当てるのではなく,表現自体のモジュラリティを識別するフレームワークであるMoReを提案する。
  論文  参考訳（メタデータ） (2026-05-14T04:46:54Z)
• When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry [4.121514039516763]
  逐次的タスクパラダイムにおけるネットワークアーキテクチャ,タスク類似性,表現次元の共形学習について検討する。 本研究は, 構造的分離が機能的に関連性を持つようになると, 表現的次元性は, 構成的変数管理の鍵となる役割を担っていることを示唆する。
  論文  参考訳（メタデータ） (2026-04-30T09:50:01Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
  本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。 USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
  論文  参考訳（メタデータ） (2025-08-18T02:42:16Z)
• Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
  解釈可能な登録フレームワークを設計するための理論的基盤を提示する。 粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。 我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
  論文  参考訳（メタデータ） (2024-12-17T19:47:10Z)
• Independent Modular Networks [3.10678167047537]
  モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。 モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。 また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
  論文  参考訳（メタデータ） (2023-06-02T07:29:36Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。