Fugu-MT 論文翻訳(概要): Any Target Function Exists in a Neighborhood of Any Sufficiently Wide Random Network: A Geometrical Perspective

論文の概要: Any Target Function Exists in a Neighborhood of Any Sufficiently Wide Random Network: A Geometrical Perspective

arxiv url: http://arxiv.org/abs/2001.06931v2
Date: Wed, 18 Mar 2020 01:00:37 GMT
ステータス: 処理完了
システム内更新日: 2023-01-08 05:04:34.359675
Title: Any Target Function Exists in a Neighborhood of Any Sufficiently Wide Random Network: A Geometrical Perspective
Title（参考訳）: 対象関数は、十分広いランダムネットワークの近傍に存在する:幾何学的視点
Authors: Shun-ichi Amari
Abstract要約: 任意の対象関数が、ランダムに接続されたディープネットワークの十分小さな近傍で実現されることが知られている。高次元幾何学が魔法の役割を果たすことを示す。
参考スコア（独自算出の注目度）: 4.42494528420519
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is known that any target function is realized in a sufficiently small neighborhood of any randomly connected deep network, provided the width (the number of neurons in a layer) is sufficiently large. There are sophisticated theories and discussions concerning this striking fact, but rigorous theories are very complicated. We give an elementary geometrical proof by using a simple model for the purpose of elucidating its structure. We show that high-dimensional geometry plays a magical role: When we project a high-dimensional sphere of radius 1 to a low-dimensional subspace, the uniform distribution over the sphere reduces to a Gaussian distribution of negligibly small covariances.
Abstract（参考訳）: 任意の対象関数は、幅(層内のニューロン数)が十分に大きい場合、ランダムに接続された任意のディープネットワークの十分小さな近傍で実現されることが知られている。この顕著な事実については洗練された理論や議論があるが、厳密な理論は非常に複雑である。構造を解明するために単純なモデルを用いて基本的な幾何学的証明を与える。半径 1 の高次元球面を低次元部分空間に投影すると、球面上の一様分布は無視できるほど小さな共分散のガウス分布に還元される。

関連論文リスト

A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。本研究では,潜在データ多様体のネットワーク表現力について検討する。本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
論文参考訳（メタデータ） (2024-10-21T22:10:24Z)
Decoder ensembling for learned latent geometries [15.484595752241122]
我々は、関連する予想多様体上の測地線を容易に計算する方法を示す。このシンプルで信頼性が高く、簡単に使える潜在測地に一歩近づきます。
論文参考訳（メタデータ） (2024-08-14T12:35:41Z)
Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文参考訳（メタデータ） (2023-10-30T21:27:53Z)
On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds [38.311376714689]
生成ネットワークは、低次元の簡単サンプル分布から高次元の複素データを生成することができる。このような低次元データ構造を、低次元多様体上でのデータ分布が支えられていると仮定して検討する。ワッサーシュタイン-1の損失は、周囲のデータ次元ではなく内在次元に依存する速度でゼロに収束することを示す。
論文参考訳（メタデータ） (2023-02-25T22:34:19Z)
Implications of sparsity and high triangle density for graph representation learning [67.98498239263549]
近年の研究では、多くの三角形を含むスパースグラフは、ノードの有限次元表現を用いて再現できないことが示されている。ここでは、ノード表現が低次元多様体上にある無限次元内積モデルを用いてそのようなグラフを再現できることを示す。
論文参考訳（メタデータ） (2022-10-27T09:15:15Z)
A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文参考訳（メタデータ） (2021-12-17T11:43:30Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
Nested-sphere description of the N-level Chern number and the generalized Bloch hypersphere [0.0]
ブロッホ球上の(擬)スピン1/2系の幾何学的解釈は、凝縮物質から量子情報、高エネルギー物理学まで様々な領域で評価されている。ここではコヒーレンスベクトル記述を用いて、高次元一般化ブロッホ球面上の一般Nレベル系を理論的に特徴づける。我々は、Nレベルの場合、特にチャーン数を決定する上で主要な役割を果たすことによって、システムの有用な特性を提供する外部2次元球が存在することを示した。
論文参考訳（メタデータ） (2021-10-13T18:00:01Z)
Intrinsic Dimension Estimation [92.87600241234344]
内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
論文参考訳（メタデータ） (2021-06-08T00:05:39Z)
From Geometry to Topology: Inverse Theorems for Distributed Persistence [0.0]
正しい不変量は、X の永続化図形ではなく、多くの小さな部分集合の永続化図形の集まりであることを示す。この不変性は、私たちが"分散永続化"と呼んでいるもので、簡単に並列化可能で、外れ値に対してより安定です。結果は、実際に分散持続性の使用を実証する2つの合成実験によって補完される。
論文参考訳（メタデータ） (2021-01-28T21:36:45Z)
A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文参考訳（メタデータ） (2021-01-18T15:40:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。