論文の概要: Improving Systematic Generalization Through Modularity and Augmentation

• arxiv url: http://arxiv.org/abs/2202.10745v1
• Date: Tue, 22 Feb 2022 09:04:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 14:23:29.297490
• Title: Improving Systematic Generalization Through Modularity and Augmentation
• Title（参考訳）: モジュラリティと拡張による体系的一般化の改善
• Authors: Laura Ruis and Brenden Lake
• Abstract要約: モジュラリティとデータ拡張という、よく知られた2つのモデリング原則が、ニューラルネットワークの体系的な一般化にどのように影響するかを検討する。 合成ベンチマークの制御された設定においても、体系的な一般化を実現することは依然として困難である。
• 参考スコア（独自算出の注目度）: 1.2183405753834562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systematic generalization is the ability to combine known parts into novel meaning; an important aspect of efficient human learning, but a weakness of neural network learning. In this work, we investigate how two well-known modeling principles -- modularity and data augmentation -- affect systematic generalization of neural networks in grounded language learning. We analyze how large the vocabulary needs to be to achieve systematic generalization and how similar the augmented data needs to be to the problem at hand. Our findings show that even in the controlled setting of a synthetic benchmark, achieving systematic generalization remains very difficult. After training on an augmented dataset with almost forty times more adverbs than the original problem, a non-modular baseline is not able to systematically generalize to a novel combination of a known verb and adverb. When separating the task into cognitive processes like perception and navigation, a modular neural network is able to utilize the augmented data and generalize more systematically, achieving 70% and 40% exact match increase over state-of-the-art on two gSCAN tests that have not previously been improved. We hope that this work gives insight into the drivers of systematic generalization, and what we still need to improve for neural networks to learn more like humans do.
• Abstract（参考訳）: 体系的一般化は、既知の部分を新しい意味に結合する能力であり、効率的な人間の学習の重要な側面であるが、ニューラルネットワーク学習の弱点である。 本研究では,モジュール化とデータ拡張という2つのよく知られたモデリング原則が,接地型言語学習におけるニューラルネットワークの体系的一般化にどのように影響するかを検討する。 我々は,体系的な一般化を実現するために語彙がどれほど大きくなければならないか,また,拡張されたデータが手元にある問題に対してどの程度類似する必要があるかを解析する。 その結果,合成ベンチマークの制御された設定であっても,体系的一般化の達成は依然として困難であることがわかった。 元の約40倍の副詞を持つ拡張データセットをトレーニングした後、非モジュラーベースラインは、既知の動詞と副詞の新たな組み合わせに体系的に一般化することができない。 タスクを知覚やナビゲーションなどの認知プロセスに分離する際、モジュール型ニューラルネットワークは、拡張されたデータを利用してより体系的に一般化することができ、これまで改善されていない2つのgSCANテストに対して、最先端よりも70%と40%正確なマッチング増加を達成することができる。 この研究が、体系的な一般化の原動力と、ニューラルネットワークが人間と同じようにもっと学ぶために、まだ改善しなければならないことへの洞察を与えることを期待しています。

関連論文リスト

• Early learning of the optimal constant solution in neural networks and humans [4.016584525313835]
  対象関数の学習は、ネットワークが最適定数解(OCS)を学習する初期段階に先立って行われることを示す。 我々は、バイアス項がなくてもOCSの学習が出現し、入力データの一般的な相関によって等価に駆動されることを示す。 我々の研究は、OCSを教師付き誤り訂正学習における普遍的な学習原則として示唆している。
  論文  参考訳（メタデータ） (2024-06-25T11:12:52Z)
• Modular Neural Network Approaches for Surgical Image Recognition [0.0]
  本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。 実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。 第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-17T22:28:16Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Being Friends Instead of Adversaries: Deep Networks Learn from Data Simplified by Other Networks [23.886422706697882]
  フレンドリートレーニング(Friendly Training)は、自動的に推定される摂動を追加することで入力データを変更するものである。 本稿では,ニューラルネットワークの有効性に触発されて,このアイデアを再考し,拡張する。 本稿では,入力データの変更に責任を負う補助的な多層ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-18T16:59:35Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation [65.79387438988554]
  十分なデータと代表データがない場合の一般化能力の欠如は、その実践的応用を妨げる課題の1つである。 我々はKDDG(Knowledge Distillation for Domain Generalization)という,シンプルで効果的な,プラグアンドプレイのトレーニング戦略を提案する。 教師ネットワークからの「より豊かな暗黒知識」と、我々が提案した勾配フィルタの両方が、マッピングの学習の難しさを軽減することができる。
  論文  参考訳（メタデータ） (2021-07-06T14:08:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Systematic Generalization on gSCAN with Language Conditioned Embedding [19.39687991647301]
  体系的一般化とは、学習アルゴリズムが学習した振る舞いを目に見えない状況に外挿する能力を指す。 本稿では,入力自然言語を条件とした動的メッセージパッシングによるオブジェクトの文脈的埋め込みを学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-11T17:35:05Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。