論文の概要: Independent Modular Networks

• arxiv url: http://arxiv.org/abs/2306.01316v1
• Date: Fri, 2 Jun 2023 07:29:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 16:23:30.904286
• Title: Independent Modular Networks
• Title（参考訳）: 独立モジュールネットワーク
• Authors: Hamed Damirchi, Forest Agostinelli and Pooyan Jamshidi
• Abstract要約: モノリシックニューラルネットワークは、データ生成プロセスの構成的性質を排除している。 モジュールを役割に分割するモジュールネットワークアーキテクチャを提案する。 また,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを改善するための正規化も提供する。
• 参考スコア（独自算出の注目度）: 3.10678167047537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monolithic neural networks that make use of a single set of weights to learn useful representations for downstream tasks explicitly dismiss the compositional nature of data generation processes. This characteristic exists in data where every instance can be regarded as the combination of an identity concept, such as the shape of an object, combined with modifying concepts, such as orientation, color, and size. The dismissal of compositionality is especially detrimental in robotics, where state estimation relies heavily on the compositional nature of physical mechanisms (e.g., rotations and transformations) to model interactions. To accommodate this data characteristic, modular networks have been proposed. However, a lack of structure in each module's role, and modular network-specific issues such as module collapse have restricted their usability. We propose a modular network architecture that accommodates the mentioned decompositional concept by proposing a unique structure that splits the modules into predetermined roles. Additionally, we provide regularizations that improve the resiliency of the modular network to the problem of module collapse while improving the decomposition accuracy of the model.
• Abstract（参考訳）: ダウンストリームタスクの有用な表現を学ぶために単一の重みセットを使用するモノリシックニューラルネットワークは、データ生成プロセスの構成的性質を明示的に無視する。 この特性は、すべてのインスタンスがオブジェクトの形状のようなアイデンティティ概念と、向き、色、サイズといった変更概念の組み合わせと見なすことができるデータに存在する。 構成性の廃止は特にロボット工学において有害であり、状態推定は相互作用をモデル化するために物理的メカニズム(例えば回転や変換)の組成的性質に大きく依存する。 このデータ特性に対応するため、モジュラーネットワークが提案されている。 しかし、各モジュールの役割の構造が欠如しており、モジュールの崩壊のようなモジュールネットワーク固有の問題はユーザビリティを制限している。 本稿では,モジュールを所定の役割に分割するユニークな構造を提案することで,上記の分解概念に対応するモジュールネットワークアーキテクチャを提案する。 さらに,モジュール崩壊問題に対するモジュールネットワークのレジリエンスを向上し,モデルの分解精度を向上させた正規化も提供する。

関連論文リスト

• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• Dynamics of specialization in neural modules under resource constraints [2.9465623430708905]
  構造的モジュラリティは機能的特殊化を保証するのに十分であるという仮説を,人工ニューラルネットワークを用いて検証する。 構造的モジュラリティに基づく静的な特殊化の概念は、現実世界の複雑さの状況における知性を理解するためのフレームワークとしては、あまりにも単純すぎると結論付けている。
  論文  参考訳（メタデータ） (2021-06-04T17:39:36Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。