論文の概要: Sparsity-driven emergence of functional modularity in multitask neural networks

• arxiv url: http://arxiv.org/abs/2610.32153v1
• Date: Fri, 23 Oct 2026 04:38:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.388798
• Title: Sparsity-driven emergence of functional modularity in multitask neural networks
• Title（参考訳）: マルチタスクニューラルネットワークにおけるスポーサリティ駆動による機能的モジュラリティの出現
• Abstract要約: モジュール境界が定義されていないマルチタスクネットワークにおいて,スパーシリティの正規化が機能的モジュラリティを促進することを示す。 提案手法は,パラメータ使用だけでなく,学習計算の組織化や再利用も行う。
• 参考スコア（独自算出の注目度）: 19.353445760133834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks can learn multiple tasks, but how learning organizes shared computation into specialized and reusable components remains poorly understood. In this work, we show that sparsity inducing regularization promotes functional modularity in multitask networks without predefined module boundaries. Using functional profiling in multilayer perceptrons and a lightweight transformer, we identified compact, task-selective subnetworks, termed functional tokens. Across rule-based task families, selectively retaining these tokens preserves their associated functions while reducing performance on other tasks. Such specialization develops preferentially in deeper layers during training, while earlier layers retain shared computation. Regularization strength and form shape module compactness and specialization, while task weighting alters functional allocation. Moreover, extracted functional tokens can be recombined through alternative pathways to reconstruct a learned composite computation without retraining, preserving their connectivity and learned weights. Our results suggest that sparsity-constrained optimization shapes not only parameter use but also the organization and reuse of learned computation.
• Abstract（参考訳）: ニューラルネットワークは複数のタスクを学習できるが、どのように学習が共有計算を特殊かつ再利用可能なコンポーネントに整理するかは理解されていない。 本研究では,モジュール境界が定義されていないマルチタスクネットワークにおいて,スパーシリティの正規化が機能的モジュラリティを促進することを示す。 マルチ層パーセプトロンと軽量トランスフォーマーの関数プロファイリングを用いて,機能トークンと呼ばれるコンパクトなタスク選択サブネットを同定した。 ルールベースのタスクファミリ全体において、これらのトークンを選択的に保持することは、関連する機能を保持しながら、他のタスクのパフォーマンスを低下させる。 このような特殊化は、トレーニング中により深い層で優先的に発展し、以前の層は共有計算を保持する。 正規化強度と形状モジュールのコンパクト性と特殊化、タスク重み付けは機能割り当てを変化させる。 さらに、抽出した関数トークンを代替経路を介して再結合して、学習した合成計算を再トレーニングすることなく再構築し、接続性や学習した重みを保存する。 提案手法は,パラメータ使用だけでなく,学習計算の組織化や再利用も行う。

関連論文リスト

• Gated Target Propagation for Compositional Generalization in Continual Learning [17.616180974159377]
  GaTaPは、タスク固有のゲーティング変数をクローズド形式のインナーループ更新を通じて学習し、ネットワークモジュールを選択的に抑制または拡張する連続学習アルゴリズムである。 我々は,事前学習したタスクに強い性能保持を示すとともに,推論における数ショットゲイン適応によって達成される未確認タスクへの構成的一般化を示す。 全体として、GaTaPは破滅的な忘れを共同で改善し、ニューラルネットワークモデルにおけるわずかな合成一般化を可能にする強力なフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-10-03T16:41:19Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Compositional Models: Multi-Task Learning and Knowledge Transfer with Modular Networks [13.308477955656592]
  本稿では,ResNetの等尺バージョンに基づくモジュールネットワーク学習手法を提案する。 本手法では,モジュールを繰り返し呼び出すことができ,新しいタスクへの知識伝達を可能にする。 本手法は,マルチタスク学習,移動学習,ドメイン適応の場合に,モジュールの解釈可能な自己組織化につながることを示す。
  論文  参考訳（メタデータ） (2021-07-23T00:05:55Z)
• Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
  重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。 この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。 これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
  論文  参考訳（メタデータ） (2021-06-21T03:04:51Z)
• Dynamics of specialization in neural modules under resource constraints [2.9465623430708905]
  構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。 構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
  論文  参考訳（メタデータ） (2021-06-04T17:39:36Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。