論文の概要: On The Specialization of Neural Modules

• arxiv url: http://arxiv.org/abs/2409.14981v1
• Date: Mon, 23 Sep 2024 12:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 15:05:21.989447
• Title: On The Specialization of Neural Modules
• Title（参考訳）: ニューラルモジュールの特殊化について
• Authors: Devon Jarvis, Richard Klein, Benjamin Rosman, Andrew M. Saxe,
• Abstract要約: 本稿では,データセットの有用な構造に特化し,系統的な一般化を実現するネットワークモジュールの能力について検討する。 その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。
• 参考スコア（独自算出の注目度）: 16.83151955540625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A number of machine learning models have been proposed with the goal of achieving systematic generalization: the ability to reason about new situations by combining aspects of previous experiences. These models leverage compositional architectures which aim to learn specialized modules dedicated to structures in a task that can be composed to solve novel problems with similar structures. While the compositionality of these architectures is guaranteed by design, the modules specializing is not. Here we theoretically study the ability of network modules to specialize to useful structures in a dataset and achieve systematic generalization. To this end we introduce a minimal space of datasets motivated by practical systematic generalization benchmarks. From this space of datasets we present a mathematical definition of systematicity and study the learning dynamics of linear neural modules when solving components of the task. Our results shed light on the difficulty of module specialization, what is required for modules to successfully specialize, and the necessity of modular architectures to achieve systematicity. Finally, we confirm that the theoretical results in our tractable setting generalize to more complex datasets and non-linear architectures.
• Abstract（参考訳）: 多くの機械学習モデルが、体系的な一般化を達成することを目的として提案されている。 これらのモデルは、類似した構造を持つ新しい問題を解くために構成できるタスクにおいて、構造専用の特別なモジュールを学習することを目的とした構成的アーキテクチャを利用する。 これらのアーキテクチャの構成性は設計によって保証されているが、専門のモジュールは保証されていない。 ここでは,ネットワークモジュールがデータセットの有用な構造に特化し,体系的な一般化を実現する能力について理論的に検討する。 この目的のために、実践的な体系的な一般化ベンチマークによって動機付けられたデータセットの最小空間を導入する。 このデータセットの空間から、系統性の数学的定義を示し、タスクの構成要素を解く際に線形ニューラルネットワークモジュールの学習力学を研究する。 その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。 最後に, より複雑なデータセットや非線形アーキテクチャに対して, トラクタブルな設定の理論的結果が一般化されることを確認した。

関連論文リスト

• Configurable Foundation Models: Building LLMs from a Modular Perspective [115.63847606634268]
  LLMを多数の機能モジュールに分解する傾向が高まり、複雑なタスクに取り組むためにモジュールの一部とモジュールの動的アセンブリを推論することができる。 各機能モジュールを表すブロックという用語を造語し、モジュール化された構造をカスタマイズ可能な基礎モデルとして定義する。 検索とルーティング,マージ,更新,成長という,レンガ指向の4つの操作を提示する。 FFN層はニューロンの機能的特殊化と機能的ニューロン分割を伴うモジュラーパターンに従うことが判明した。
  論文  参考訳（メタデータ） (2024-09-04T17:01:02Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Dynamics of specialization in neural modules under resource constraints [2.9465623430708905]
  構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。 構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
  論文  参考訳（メタデータ） (2021-06-04T17:39:36Z)
• Iterated learning for emergent systematicity in VQA [3.977144385787228]
  ニューラルモジュールネットワークは構成性に対するアーキテクチャ上のバイアスを持っている。 レイアウトとモジュールを共同学習する場合、構成性は自動的に発生せず、適切な構造を示すレイアウトの出現には明示的な圧力が必要です。 本研究では,自然における構成言語の出現に関する認知科学理論である反復学習を用いてこの問題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-05-03T18:44:06Z)
• XY Neural Networks [0.0]
  XYモデルの非線形ブロックに基づいて,機械学習のための複雑な構造を構築する方法を示す。 最後のターゲットは、複雑なタスクを実行できるディープラーニングアーキテクチャを再現することである。
  論文  参考訳（メタデータ） (2021-03-31T17:47:10Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。