論文の概要: Can neural networks extrapolate? Discussion of a theorem by Pedro Domingos

• arxiv url: http://arxiv.org/abs/2211.03566v1
• Date: Mon, 7 Nov 2022 13:59:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 17:40:59.152076
• Title: Can neural networks extrapolate? Discussion of a theorem by Pedro Domingos
• Title（参考訳）: ニューラルネットワークは外挿可能か? ペドロ・ドミンゴスによる定理の考察
• Authors: Adrien Courtois, Jean-Michel Morel, Pablo Arias
• Abstract要約: 我々はドミンゴスの定理について議論し、「連続勾配降下によって学習されたすべての機械は概してカーネルマシンである」と述べた。 単純な場合、ドミンゴスの定理から生じる「ニューラル・タンジェント・カーネル」は、ネットワークの予測を理解するのに役立つ。
• 参考スコア（独自算出の注目度）: 14.317837518705302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks trained on large datasets by minimizing a loss have become the state-of-the-art approach for resolving data science problems, particularly in computer vision, image processing and natural language processing. In spite of their striking results, our theoretical understanding about how neural networks operate is limited. In particular, what are the interpolation capabilities of trained neural networks? In this paper we discuss a theorem of Domingos stating that "every machine learned by continuous gradient descent is approximately a kernel machine". According to Domingos, this fact leads to conclude that all machines trained on data are mere kernel machines. We first extend Domingo's result in the discrete case and to networks with vector-valued output. We then study its relevance and significance on simple examples. We find that in simple cases, the "neural tangent kernel" arising in Domingos' theorem does provide understanding of the networks' predictions. Furthermore, when the task given to the network grows in complexity, the interpolation capability of the network can be effectively explained by Domingos' theorem, and therefore is limited. We illustrate this fact on a classic perception theory problem: recovering a shape from its boundary.
• Abstract（参考訳）: 損失を最小限にすることでトレーニングされたニューラルネットワークは、特にコンピュータビジョン、画像処理、自然言語処理において、データサイエンス問題を解決する最先端のアプローチとなっている。 その驚くべき結果にもかかわらず、ニューラルネットワークの動作に関する理論的理解は限られています。 特に、トレーニングニューラルネットワークの補間能力はどのようなものか? 本稿では,「連続勾配降下によって学習される全ての機械は概してカーネルマシンである」というドミンゴの定理について述べる。 ドミンゴスによれば、この事実はデータで訓練された全てのマシンは単なるカーネルマシンであると結論づける。 まずドミンゴの結果を離散の場合とベクトル値の出力を持つネットワークに拡張する。 次に、その妥当性と意義を簡単な例で研究する。 単純な場合において、ドミンゴスの定理で生じる「神経接核」は、ネットワークの予測を理解する。 さらに、ネットワークに与えられたタスクが複雑化すると、ネットワークの補間能力はドミンゴスの定理によって効果的に説明され、したがって制限される。 この事実を古典的な知覚理論問題、すなわち境界から形状を復元する問題に説明する。

関連論文リスト

• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• On the optimization and generalization of overparameterized implicit neural networks [25.237054775800164]
  機械学習コミュニティでは、暗黙のニューラルネットワークがますます魅力的になっている。 暗黙の層のみを訓練しても,グローバル収束が保証されることを示す。 本稿では,暗黙的ニューラルネットワークの一般化誤差について検討する。
  論文  参考訳（メタデータ） (2022-09-30T16:19:46Z)
• Correlation between entropy and generalizability in a neural network [9.223853439465582]
  We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。 この結果から,エントロピック力は一般化に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-07-05T12:28:13Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。