論文の概要: Interpolation, extrapolation, and local generalization in common neural
networks
- arxiv url: http://arxiv.org/abs/2207.08648v1
- Date: Mon, 18 Jul 2022 14:50:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 15:18:35.813161
- Title: Interpolation, extrapolation, and local generalization in common neural
networks
- Title（参考訳）: 共通ニューラルネットワークにおける補間、補間、局所一般化
- Authors: Laurent Bonnasse-Gahot
- Abstract要約: 典型的なニューラルネットワークの最後の隠蔽層の神経活動について検討する。
テストセットのほとんどのサンプルは、トレーニングセットの凸殻にある。
コンベックスの船体が関係する基準ではないことが確認された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been a long history of works showing that neural networks have hard
time extrapolating beyond the training set. A recent study by Balestriero et
al. (2021) challenges this view: defining interpolation as the state of
belonging to the convex hull of the training set, they show that the test set,
either in input or neural space, cannot lie for the most part in this convex
hull, due to the high dimensionality of the data, invoking the well known curse
of dimensionality. Neural networks are then assumed to necessarily work in
extrapolative mode. We here study the neural activities of the last hidden
layer of typical neural networks. Using an autoencoder to uncover the intrinsic
space underlying the neural activities, we show that this space is actually
low-dimensional, and that the better the model, the lower the dimensionality of
this intrinsic space. In this space, most samples of the test set actually lie
in the convex hull of the training set: under the convex hull definition, the
models thus happen to work in interpolation regime. Moreover, we show that
belonging to the convex hull does not seem to be the relevant criteria.
Different measures of proximity to the training set are actually better related
to performance accuracy. Thus, typical neural networks do seem to operate in
interpolation regime. Good generalization performances are linked to the
ability of a neural network to operate well in such a regime.
- Abstract（参考訳）: ニューラルネットワークがトレーニングセットを越えて外挿するのに苦労していることを示す、長い歴史がある。
Balestriero et al. (2021) による最近の研究は、補間をトレーニングセットの凸殻に属する状態として定義すること、すなわち、入力またはニューラル空間において、テストセットが、この凸殻の大部分が、データの高次元性のため、よく知られた次元性の呪いを引き起こすことができないことを示す。
ニューラルネットワークは必ずしも外挿モードで動作すると仮定される。
ここでは、典型的なニューラルネットワークの最後の隠れ層の神経活動について研究する。
神経活動の基盤となる内在的な空間を明らかにするためにオートエンコーダを使用することで、この空間は実際には低次元であり、モデルが良くなればなるほど、内在的な空間の次元が小さくなることを示す。
この空間では、テストセットのほとんどのサンプルは実際に訓練セットの凸船体に置かれており、凸船体の定義の下では、モデルが補間体制で機能する。
また, コンベックスの船体が関係する基準になっていないことが示唆された。
トレーニングセットに近接するさまざまな尺度は、実際にはパフォーマンスの正確さに関連している。
したがって、典型的なニューラルネットワークは補間領域で動作しているように見える。
優れた一般化性能は、そのような状況下でニューラルネットワークがうまく機能する能力と結びついている。
関連論文リスト
- NeuralClothSim: Neural Deformation Fields Meet the Thin Shell Theory [70.10550467873499]
薄型シェルを用いた新しい擬似布シミュレータであるNeuralClothSimを提案する。
メモリ効率の高い解法はニューラル変形場と呼ばれる新しい連続座標に基づく表面表現を演算する。
論文 参考訳（メタデータ） (2023-08-24T17:59:54Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Universal Approximation Property of Fully Convolutional Neural Networks
with Zero Padding [10.295288663157393]
CNNはテンソル-テンソルマッピングとして機能し、入力データの空間構造を保存する。
入力値と出力値の両方が同じ空間形状を示す場合、CNNは任意の連続関数を近似することができることを示す。
また、深い狭いCNNがテンソル-テンソル関数としてUAPを持っていることも確認した。
論文 参考訳（メタデータ） (2022-11-18T02:04:16Z) - Side-effects of Learning from Low Dimensional Data Embedded in an
Euclidean Space [3.093890460224435]
データ多様体の必要次元におけるネットワークの深さとノイズに関連する潜在的な正則化効果について検討する。
また,騒音によるトレーニングの副作用も提示した。
論文 参考訳（メタデータ） (2022-03-01T16:55:51Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Deep Learning in Random Neural Fields: Numerical Experiments via Neural
Tangent Kernel [10.578941575914516]
大脳皮質の生物学的ニューラルネットワークは神経野を形成する。
野のニューロンは独自の受容野を持ち、2つのニューロン間の接続重みはランダムであるが、受容野に近接しているときに非常に相関している。
このような多層ニューラルネットワークは、ノイズ障害によって入力パターンが変形する場合、従来のモデルよりも頑健であることを示す。
論文 参考訳（メタデータ） (2022-02-10T18:57:10Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。