論文の概要: How Modular Should Neural Module Networks Be for Systematic Generalization?

• arxiv url: http://arxiv.org/abs/2106.08170v1
• Date: Tue, 15 Jun 2021 14:13:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 20:25:17.188775
• Title: How Modular Should Neural Module Networks Be for Systematic Generalization?
• Title（参考訳）: ニューラルネットワークはいかにしてシステム一般化に必要か?
• Authors: Vanessa D'Amario, Tomotake Sasaki, Xavier Boix
• Abstract要約: NMNは、サブタスクに取り組むモジュールの合成を通じて、ビジュアル質問回答(VQA)を目指している。 本稿では,モジュラリティが定義される段階と程度が,体系的な一般化に大きな影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 4.533408938245526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Module Networks (NMNs) aim at Visual Question Answering (VQA) via composition of modules that tackle a sub-task. NMNs are a promising strategy to achieve systematic generalization, i.e. overcoming biasing factors in the training distribution. However, the aspects of NMNs that facilitate systematic generalization are not fully understood. In this paper, we demonstrate that the stage and the degree at which modularity is defined has large influence on systematic generalization. In a series of experiments on three VQA datasets (MNIST with multiple attributes, SQOOP, and CLEVR-CoGenT), our results reveal that tuning the degree of modularity in the network, especially at the image encoder stage, reaches substantially higher systematic generalization. These findings lead to new NMN architectures that outperform previous ones in terms of systematic generalization.
• Abstract（参考訳）: neural module networks(nmns)は,サブタスクに取り組むモジュールの構成を通じて,vqa(visual question answering)を目標とする。 NMNは体系的な一般化を達成するための有望な戦略である。 トレーニング分布のバイアス要因を克服します しかし、体系的な一般化を促進するNMNの側面は、完全には理解されていない。 本稿では,モジュラリティが定義される段階と程度が,体系的な一般化に大きな影響を与えることを示す。 複数の属性を持つ3つのVQAデータセット(MNIST、SQOOP、CLEVR-CoGenT)の一連の実験において、この結果は、特に画像エンコーダの段階で、ネットワーク内のモジュラリティの度合いを調整できることを明らかにした。 これらの発見は、体系的な一般化の観点から、以前のアーキテクチャよりも優れた新しいNMNアーキテクチャをもたらす。

関連論文リスト

• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Transformer Module Networks for Systematic Generalization in Visual Question Answering [4.169829151981242]
  Transformer Module Network (TMN) はモジュールを質問固有のTransformerネットワークに動的に構成する。 TMNは3つのVQAデータセットで最先端の系統的一般化性能を達成する。
  論文  参考訳（メタデータ） (2022-01-27T04:22:25Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Weakly Supervised Neuro-Symbolic Module Networks for Numerical Reasoning [44.5641465035393]
  Weakly-Supervised Neuro-Symbolic Module Network (WNSMN)を提案する。 クエリの依存性解析から得られたノイズの多いMRCプログラムを、ニューラルおよびシンボリック推論モジュールの両方に対する離散的なアクションとして実行し、応答マッチングからの離散的な報酬で強化学習フレームワークでエンドツーエンドにトレーニングする。 これは、ノイズの多いプログラムに対する明示的な離散的推論をエンドツーエンドで処理できるモジュラーネットワークの有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2021-01-28T03:36:09Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。