論文の概要: Topological properties of basins of attraction and expressiveness of
width bounded neural networks
- arxiv url: http://arxiv.org/abs/2011.04923v5
- Date: Tue, 21 Nov 2023 18:49:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 06:16:07.213244
- Title: Topological properties of basins of attraction and expressiveness of
width bounded neural networks
- Title（参考訳）: 幅有界ニューラルネットワークのアトラクション盆地の位相特性と表現性
- Authors: Hans-Peter Beise, Steve Dias Da Cruz
- Abstract要約: 入力次元を超えない幅のネットワーク関数を考察し、この状況ではアトラクションの流域が有界であることを証明する。
境界幅条件を満たすスカラー値ニューラルネットワーク関数が連続関数の空間に密着しない根本原因を導出する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Radhakrishnan et al. [2020], the authors empirically show that
autoencoders trained with usual SGD methods shape out basins of attraction
around their training data. We consider network functions of width not
exceeding the input dimension and prove that in this situation basins of
attraction are bounded and their complement cannot have bounded components. Our
conditions in these results are met in several experiments of the latter work
and we thus address a question posed therein. We also show that under some more
restrictive conditions the basins of attraction are path-connected. The
tightness of the conditions in our results is demonstrated by means of several
examples. Finally, the arguments used to prove the above results allow us to
derive a root cause why scalar-valued neural network functions that fulfill our
bounded width condition are not dense in spaces of continuous functions.
- Abstract（参考訳）: Radhakrishnanなど。
著者らは,通常のsgd法で学習したオートエンコーダが,トレーニングデータの周りにアトラクションの盆地を形成することを実証的に示した。
入力次元を超えない幅のネットワーク関数を考察し、この状況ではアトラクションの流域が有界であり、その補関数が有界成分を持つことができないことを示す。
これらの結果の条件は, 後者の研究のいくつかの実験で満たされ, そこで提案された問題に対処する。
また,より制限的な条件下では,アトラクションの流域が経路接続されていることも示している。
この結果における条件の厳密性は,いくつかの例によって示される。
最後に、上記の結果を証明するために用いられる議論により、連続関数の空間において、境界幅条件を満たすスカラー値ニューラルネットワーク関数が密集しない理由を導出することができる。
関連論文リスト
- Globally injective and bijective neural operators [3.215443216699947]
ネットワークは本質的に無限次元の観点から関数空間間の演算子を学習することを示す。
本研究では,これらのネットワークで学習した演算子が射影的かつ全射的である場合の結果を示す。
論文 参考訳（メタデータ） (2023-06-06T19:35:09Z) - From Tempered to Benign Overfitting in ReLU Neural Networks [41.271773069796126]
過自明なニューラルネットワーク(NN)は、ノイズの多いデータに完全に適合するように訓練された場合でも、適切に一般化することが観察される。
最近、NNの振舞いは「抑止過剰」と表現されることが多いと推測され、実証的に観察された。
論文 参考訳（メタデータ） (2023-05-24T13:36:06Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳（メタデータ） (2022-02-15T19:00:09Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳（メタデータ） (2021-12-30T10:27:08Z) - Dependence between Bayesian neural network units [0.0]
実用的有限幅ベイズニューラルネットワークにおける隠れ単位依存特性に光を当てることを目的としている。
理論的結果に加えて,隠れた単位依存特性に対する深さと幅の影響を実験的に評価した。
論文 参考訳（メタデータ） (2021-11-29T09:32:09Z) - Random Neural Networks in the Infinite Width Limit as Gaussian Processes [16.75218291152252]
本稿では、入力次元、出力次元、深さが固定された状態において、ランダムな重みとバイアスを持つ完全連結ニューラルネットワークがガウス過程に収束することを示す。
以前の研究とは異なり、収束は重みの分布と非常に一般的な非線形性に対してのみモーメント条件を仮定して示される。
論文 参考訳（メタデータ） (2021-07-04T07:00:20Z) - Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。
そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
論文 参考訳（メタデータ） (2021-06-22T19:51:59Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳（メタデータ） (2020-08-21T18:00:50Z) - On the asymptotics of wide networks with polynomial activations [12.509746979383701]
ニューラルネットワークの動作に対処する既存の予測を,幅の広い範囲で検討する。
活性化関数を持つディープネットワークの予想を証明した。
解析的(および非線形)アクティベーション関数を持つネットワークと,ReLULUのような断片的アクティベーションを持つネットワークとの違いを指摘する。
論文 参考訳（メタデータ） (2020-06-11T18:00:01Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。