論文の概要: Generalisation in Neural Networks Does not Require Feature Overlap

• arxiv url: http://arxiv.org/abs/2107.06872v1
• Date: Sun, 4 Jul 2021 09:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-18 16:10:26.007411
• Title: Generalisation in Neural Networks Does not Require Feature Overlap
• Title（参考訳）: ニューラルネットワークの一般化は機能オーバーラップを必要としない
• Authors: Jeff Mitchell and Jeffrey S. Bowers
• Abstract要約: 畳み込みアーキテクチャは2つのよく知られた課題に適用することによって制限を回避することを示す。 テストセットのパフォーマンスは、トレーニングデータに存在しない機能に一般化する必要がある。 両課題における対称性の役割と一般化との関連について論じる。
• 参考スコア（独自算出の注目度）: 3.162825695928202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: That shared features between train and test data are required for generalisation in artificial neural networks has been a common assumption of both proponents and critics of these models. Here, we show that convolutional architectures avoid this limitation by applying them to two well known challenges, based on learning the identity function and learning rules governing sequences of words. In each case, successful performance on the test set requires generalising to features that were not present in the training data, which is typically not feasible for standard connectionist models. However, our experiments demonstrate that neural networks can succeed on such problems when they incorporate the weight sharing employed by convolutional architectures. In the image processing domain, such architectures are intended to reflect the symmetry under spatial translations of the natural world that such images depict. We discuss the role of symmetry in the two tasks and its connection to generalisation.
• Abstract（参考訳）: ニューラルネットワークの一般化に列車データとテストデータ間の共有機能は、これらのモデルの支持者と批判者の共通の前提となっている。 ここで,畳み込み型アーキテクチャは,単語列の学習と学習規則に基づく2つの既知の課題に適用することにより,この制限を回避することを示す。 いずれの場合も、テストセットのパフォーマンスに成功するには、トレーニングデータに存在しない機能に一般化する必要がある。 しかし,本実験では,畳み込みアーキテクチャが採用する重み共有を組み込んだニューラルネットワークが,そのような問題に成功できることを示した。 画像処理領域では、そのようなアーキテクチャは、そのようなイメージが描写する自然世界の空間的翻訳の下での対称性を反映している。 両課題における対称性の役割と一般化との関連について論じる。

関連論文リスト

• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Neural Networks and the Chomsky Hierarchy [27.470857324448136]
  チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。 膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。 この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
  論文  参考訳（メタデータ） (2022-07-05T15:06:11Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Generalization capabilities of translationally equivariant neural networks [0.0]
  本研究では,2次元格子上の複素スカラー場理論に着目し,群同変畳み込みニューラルネットワークアーキテクチャの利点について検討する。 有意義な比較のために、同値および非同値ニューラルネットワークアーキテクチャを体系的に探索し、様々な回帰および分類タスクに適用する。 我々の最善の同変アーキテクチャは、それらの非同変アーキテクチャよりも相当よく機能し、一般化できることを実証する。
  論文  参考訳（メタデータ） (2021-03-26T18:53:36Z)
• Seismic horizon detection with neural networks [62.997667081978825]
  本稿では,複数の実地震立方体上での地平線検出にバイナリセグメンテーションを適用し,予測モデルのキューブ間一般化に着目したオープンソースの研究である。 本研究の主な貢献は,複数実地震立方体における地平線検出にバイナリセグメンテーションを適用し,予測モデルのキューブ間一般化に着目したオープンソースの研究である。
  論文  参考訳（メタデータ） (2020-01-10T11:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。