論文の概要: Neural Networks and the Chomsky Hierarchy

• arxiv url: http://arxiv.org/abs/2207.02098v1
• Date: Tue, 5 Jul 2022 15:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-06 13:50:06.837695
• Title: Neural Networks and the Chomsky Hierarchy
• Title（参考訳）: ニューラルネットワークとチョムスキー階層
• Authors: Gr\'egoire Del\'etang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Marcus Hutter, Shane Legg, Pedro A. Ortega
• Abstract要約: チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
• 参考スコア（独自算出の注目度）: 27.470857324448136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable generalization lies at the heart of safe ML and AI. However, understanding when and how neural networks generalize remains one of the most important unsolved problems in the field. In this work, we conduct an extensive empirical study (2200 models, 16 tasks) to investigate whether insights from the theory of computation can predict the limits of neural network generalization in practice. We demonstrate that grouping tasks according to the Chomsky hierarchy allows us to forecast whether certain architectures will be able to generalize to out-of-distribution inputs. This includes negative results where even extensive amounts of data and training time never led to any non-trivial generalization, despite models having sufficient capacity to perfectly fit the training data. Our results show that, for our subset of tasks, RNNs and Transformers fail to generalize on non-regular tasks, LSTMs can solve regular and counter-language tasks, and only networks augmented with structured memory (such as a stack or memory tape) can successfully generalize on context-free and context-sensitive tasks.
• Abstract（参考訳）: 信頼性の高い一般化は、安全なMLとAIの中心にある。 しかし、ニューラルネットワークの一般化の時期と方法を理解することは、この分野で最も重要な未解決問題の1つである。 本研究では、計算理論からの洞察がニューラルネットワークの一般化の限界を予測できるかどうかを調べるため、広範囲にわたる経験的研究(2200モデル、16タスク)を行う。 チョムスキー階層に基づくグループ化タスクは、あるアーキテクチャが分布外入力に一般化できるかどうかを予測できることを示した。 これには、膨大な量のデータとトレーニング時間さえも、トレーニングデータに完全に適合する十分な能力を持つモデルにもかかわらず、非自明な一般化につながらない負の結果が含まれる。 その結果、我々のタスクのサブセットでは、RNNとTransformerは非正規タスクを一般化することができず、LSTMは正規タスクと対言語タスクを解くことができ、構造化メモリ(スタックやメモリテープなど)で拡張されたネットワークのみがコンテキストレスおよびコンテキスト依存タスクをうまく一般化できることがわかった。

関連論文リスト

• On Logical Extrapolation for Mazes with Recurrent and Implicit Networks [2.0037131645168396]
  我々は,外挿の能力が従来提案されていたよりも頑丈でないことを示す。 INNは、より大きな迷路インスタンスに一般化できるが、迷路サイズ以外の難易度軸に沿って一般化できないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T22:07:51Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Generalization Through the Lens of Learning Dynamics [11.009483845261958]
  機械学習(ML)システムは、デプロイ時に正確な予測を得るために、新しい状況に一般化することを学ぶ必要がある。 ディープニューラルネットワークの印象的な一般化性能は、理論家たちに悪影響を与えている。 この論文は、教師付き学習タスクと強化学習タスクの両方において、ディープニューラルネットワークの学習ダイナミクスを研究する。
  論文  参考訳（メタデータ） (2022-12-11T00:07:24Z)
• Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
  本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。 本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T20:06:23Z)
• Generalization in Multimodal Language Learning from Simulation [20.751952728808153]
  教師付き時間連続設定で学習した最小限のLSTMネットワークにおいて、基礎となるトレーニングデータ分布が一般化に与える影響について検討する。 構成的一般化は、単純な設定で失敗すると同時に、オブジェクトの数、アクション、特にオブジェクト間の多くの色重なりで改善する。
  論文  参考訳（メタデータ） (2021-08-03T12:55:18Z)
• Pointer Value Retrieval: A new benchmark for understanding the limits of neural network generalization [40.21297628440919]
  我々は、ニューラルネットワークの一般化の限界を探求する新しいベンチマーク、Pointer Value Retrieval(PVR)タスクを導入する。 PVRタスクは視覚的および記号的な入力で構成され、それぞれが様々な難易度を持つ。 このタスク構造が一般化を理解するための豊富なテストベッドを提供することを示す。
  論文  参考訳（メタデータ） (2021-07-27T03:50:31Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。