論文の概要: When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry

• arxiv url: http://arxiv.org/abs/2604.27656v1
• Date: Thu, 30 Apr 2026 09:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.029447
• Title: When Does Structure Matter in Continual Learning? Dimensionality Controls When Modularity Shapes Representational Geometry
• Title（参考訳）: 連続学習における構造はいつ重要か? : モジュラー形状表現幾何学における次元制御
• Authors: Kathrin Korte, Joachim Winter Pedersen, Eleni Nisioti, Sebastian Risi,
• Abstract要約: 逐次的タスクパラダイムにおけるネットワークアーキテクチャ,タスク類似性,表現次元の共形学習について検討する。 本研究は, 構造的分離が機能的に関連性を持つようになると, 表現的次元性は, 構成的変数管理の鍵となる役割を担っていることを示唆する。
• 参考スコア（独自算出の注目度）: 4.121514039516763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To preserve previously learned representations, continual learning systems must strike a balance between plasticity, the ability to acquire new knowledge, and stability. This stability-plasticity dilemma affects how representations can be reused across tasks: shared structure enables transfer when tasks are similar but may also induce interference when new learning disrupts existing representations. However, it remains unclear when and why structural separation influences this trade-off. In this study, we examine how network architecture, task similarity, and representational dimensionality jointly shape learning in a sequential task paradigm inspired by transfer-interference studies. We compare a task-partitioned modular recurrent network with a single-module baseline by systematically varying task similarity (low, medium, high) and the scale of weight initialization, which induces different learning regimes that we empirically characterize through the effective dimensionality of the learned representations. We find that architecture has minimal impact in high-dimensional regimes where representations are sufficiently unconstrained to accommodate multiple tasks without strong interference. In contrast, in lower-dimensional (rich) regimes, architectural separation is decisive: modular networks exhibit graded alignment of task-specific subspaces with overlap for similar tasks, partial orthogonalization for moderately dissimilar tasks, and stronger separation for dissimilar tasks. This graded geometry is absent in the single network baseline. Our findings suggest that representational dimensionality acts as a key organizing variable governing when structural separation becomes functionally relevant, and highlight adaptive geometry as a central principle for designing continual learning systems.
• Abstract（参考訳）: これまでに学習した表現を保存するためには、連続的な学習システムは、可塑性、新しい知識を得る能力、安定性のバランスを取らなければならない。 この安定性-塑性ジレンマは、タスク間で表現を再利用する方法に影響を与える:共有構造は、タスクが類似しているときに転送を可能にするが、新しい学習が既存の表現を破壊したときに干渉を引き起こす可能性がある。 しかし、なぜ構造的分離がこのトレードオフに影響を及ぼすのかは、まだ不明である。 本研究では,伝達干渉研究に触発された逐次的タスクパラダイムにおけるネットワークアーキテクチャ,タスク類似性,表現次元の共形学習について検討する。 課題分割型モジュラーリカレントネットワークと単一モジュールベースラインを,タスク類似性(低,中,高)と重み初期化の尺度に体系的に変化させることで比較し,学習表現の有効次元性を通じて経験的に特徴付ける学習体制を創出する。 アーキテクチャは、強い干渉を伴わずに複数のタスクに対応するために、表現が十分に制約されていない高次元のレシエーションにおいて、最小限の影響が認められる。 対照的に、低次元の(豊かな)体制では、アーキテクチャの分離は決定的である: モジュラーネットワークは、類似したタスクに重複するタスク固有の部分空間の段階的なアライメント、適度に異なるタスクに対する部分直交化、異種タスクに対するより強い分離を示す。 このグレード付き幾何は単一のネットワークベースラインに存在しない。 本研究は, 構造的分離が機能的に関連性を持つようになると, 表現的次元性が重要な体系的変数として機能し, 連続的な学習システムを設計するための中心原理として適応幾何学を強調することを示唆している。

関連論文リスト

• Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance [4.177067537825386]
  本研究は, 基本幾何学的変換に基づく最先端のビジョン・ランゲージモデル(VLM)の基本的脆弱性について検討する。 現代のVLMはセマンティックなタスクに優れていますが、より基本的なレベルで体系的な失敗を示します。
  論文  参考訳（メタデータ） (2026-04-02T10:02:49Z)
• Cross-Model Semantics in Representation Learning [1.2064681974642195]
  構造的正則性は、構造的変動の下でより安定な表現幾何学を誘導することを示す。 これは、ある種の帰納バイアスがモデル内の一般化をサポートするだけでなく、モデル間の学習された機能の相互運用性を向上させることを示唆している。
  論文  参考訳（メタデータ） (2025-08-05T16:57:24Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• Interpretable deformable image registration: A geometric deep learning perspective [9.13809412085203]
  解釈可能な登録フレームワークを設計するための理論的基盤を提示する。 粗い方法で変換を洗練するエンドツーエンドのプロセスを定式化します。 我々は、最先端のアプローチよりもパフォーマンスの指標が大幅に改善されたと結論付けている。
  論文  参考訳（メタデータ） (2024-12-17T19:47:10Z)
• Hierarchical Invariance for Robust and Interpretable Vision Tasks at Larger Scales [54.78115855552886]
  本稿では、畳み込みニューラルネットワーク(CNN)のような階層型アーキテクチャを用いて、オーバーコンプリート不変量を構築する方法を示す。 オーバーコンプリート性により、そのタスクはニューラルアーキテクチャサーチ(NAS)のような方法で適応的に形成される。 大規模で頑健で解釈可能な視覚タスクの場合、階層的不変表現は伝統的なCNNや不変量に対する効果的な代替物とみなすことができる。
  論文  参考訳（メタデータ） (2024-02-23T16:50:07Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。