論文の概要: Is a Modular Architecture Enough?

• arxiv url: http://arxiv.org/abs/2206.02713v1
• Date: Mon, 6 Jun 2022 16:12:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 13:57:03.047355
• Title: Is a Modular Architecture Enough?
• Title（参考訳）: モジュール化アーキテクチャは十分か?
• Authors: Sarthak Mittal, Yoshua Bengio and Guillaume Lajoie
• Abstract要約: 我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
• 参考スコア（独自算出の注目度）: 80.32451720642209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired from human cognition, machine learning systems are gradually revealing advantages of sparser and more modular architectures. Recent work demonstrates that not only do some modular architectures generalize well, but they also lead to better out-of-distribution generalization, scaling properties, learning speed, and interpretability. A key intuition behind the success of such systems is that the data generating system for most real-world settings is considered to consist of sparsely interacting parts, and endowing models with similar inductive biases will be helpful. However, the field has been lacking in a rigorous quantitative assessment of such systems because these real-world data distributions are complex and unknown. In this work, we provide a thorough assessment of common modular architectures, through the lens of simple and known modular data distributions. We highlight the benefits of modularity and sparsity and reveal insights on the challenges faced while optimizing modular systems. In doing so, we propose evaluation metrics that highlight the benefits of modularity, the regimes in which these benefits are substantial, as well as the sub-optimality of current end-to-end learned modular systems as opposed to their claimed potential.
• Abstract（参考訳）: 人間の認識からヒントを得た機械学習システムは、徐々にスペーサーとよりモジュラーなアーキテクチャの利点を明らかにしている。 最近の研究は、いくつかのモジュラーアーキテクチャをうまく一般化するだけでなく、より優れた分散の一般化、スケーリング特性、学習速度、解釈可能性をもたらすことを示している。 このようなシステムの成功の背後にある重要な直感は、ほとんどの実世界の設定のためのデータ生成システムは、疎結合な部分で構成されており、同様の帰納的バイアスを持つモデルが有用であるということである。 しかし、これらの実世界のデータ分布は複雑で未知であるため、そのようなシステムの厳密な定量的評価に欠如している。 本研究は,モジュール型データ分散の単純かつ既知のレンズを通して,共通モジュール型アーキテクチャの徹底的な評価を行う。 モジュラリティとスパーシティのメリットを強調し,モジュール化システムを最適化する上で直面する課題に対する洞察を明らかにする。 そこで本研究では,モジュラリティのメリット,これらのメリットが極めて大きい体制,そして,その主張する潜在能力とは対照的に,現在のエンドツーエンドの学習モジュールシステムの準最適性を示す評価指標を提案する。

関連論文リスト

• On The Specialization of Neural Modules [16.83151955540625]
  本稿では,データセットの有用な構造に特化し,系統的な一般化を実現するネットワークモジュールの能力について検討する。 その結果、モジュールの特殊化の難しさ、モジュールの専門化を成功させるために必要なもの、モジュールアーキテクチャの体系化の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-09-23T12:58:11Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Modularity in Deep Learning: A Survey [0.0]
  データ、タスク、モデルという3つの軸に関するディープラーニングにおけるモジュラリティの概念についてレビューする。 データモジュラリティ(Data modularity)とは、さまざまな目的のためにデータグループを観察または作成することを指す。 タスクのモジュール化はタスクをサブタスクに分解することを指す。 モデルモジュラリティは、ニューラルネットワークシステムのアーキテクチャを識別可能なモジュールに分解できることを意味する。
  論文  参考訳（メタデータ） (2023-10-02T12:41:34Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Learning Modular Simulations for Homogeneous Systems [23.355189771765644]
  等質多体力学系をモデル化するためのモジュラーシミュレーションフレームワークを提案する。 任意の数の加群を組み合わせることで、様々な結合トポロジーの系をシミュレートすることができる。 我々のモデルは、スクラッチからトレーニングされたモデルと比較して、データ要件やトレーニングの労力が低い新しいシステム構成に移行可能であることを示しています。
  論文  参考訳（メタデータ） (2022-10-28T17:48:01Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。