論文の概要: Approximation with Tensor Networks. Part I: Approximation Spaces
- arxiv url: http://arxiv.org/abs/2007.00118v3
- Date: Fri, 5 Feb 2021 14:38:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 06:31:15.067060
- Title: Approximation with Tensor Networks. Part I: Approximation Spaces
- Title（参考訳）: テンソルネットワークによる近似。
第1部:近似空間
- Authors: Mazen Ali and Anthony Nouy
- Abstract要約: テンソルネットワーク(TN)による関数の近似について検討する。
一次元のルベーグ$Lp$-空間はテンソル化によって任意の順序のテンソル積空間と同一視できることを示す。
これらの近似クラスの函数はベソフの滑らかさを持たないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the approximation of functions by tensor networks (TNs). We show
that Lebesgue $L^p$-spaces in one dimension can be identified with tensor
product spaces of arbitrary order through tensorization. We use this tensor
product structure to define subsets of $L^p$ of rank-structured functions of
finite representation complexity. These subsets are then used to define
different approximation classes of tensor networks, associated with different
measures of complexity. These approximation classes are shown to be
quasi-normed linear spaces. We study some elementary properties and
relationships of said spaces. In part II of this work, we will show that
classical smoothness (Besov) spaces are continuously embedded into these
approximation classes. We will also show that functions in these approximation
classes do not possess any Besov smoothness, unless one restricts the depth of
the tensor networks. The results of this work are both an analysis of the
approximation spaces of TNs and a study of the expressivity of a particular
type of neural networks (NN) -- namely feed-forward sum-product networks with
sparse architecture. The input variables of this network result from the
tensorization step, interpreted as a particular featuring step which can also
be implemented with a neural network with a specific architecture. We point out
interesting parallels to recent results on the expressivity of rectified linear
unit (ReLU) networks -- currently one of the most popular type of NNs.
- Abstract（参考訳）: テンソルネットワーク(TN)による関数の近似について検討する。
一次元のルベーグ$L^p$-空間はテンソル化によって任意の順序のテンソル積空間と同一視できることを示す。
このテンソル積構造を用いて有限表現複雑性のランク構造関数の $l^p$ の部分集合を定義する。
これらの部分集合は、複雑性の異なる測度と関連づけられたテンソルネットワークの異なる近似クラスを定義するために使われる。
これらの近似類は準ノルム線型空間であることが示される。
上記の空間の基本的な性質と関係について研究する。
この研究のパートIIでは、古典的滑らか性(Besov)空間がこれらの近似クラスに連続的に埋め込まれていることを示す。
また、これらの近似クラスの函数は、テンソルネットワークの深さを制限しない限り、ベソフの滑らかさは持たないことを示す。
この研究の結果は、TNsの近似空間の分析と、特定のタイプのニューラルネットワーク(NN)、すなわちスパースアーキテクチャを備えたフィードフォワード・サミ製品ネットワークの表現性の研究の両方である。
このネットワークの入力変数はテンソル化ステップから生じ、特定のアーキテクチャを持つニューラルネットワークでも実装できる特定の特徴付けステップとして解釈される。
我々は、直列線形ユニット(ReLU)ネットワークの表現性に関する最近の結果と興味深い類似点を指摘する。
関連論文リスト
- Tangent Bundle Convolutional Learning: from Manifolds to Cellular Sheaves and Back [84.61160272624262]
この畳み込み操作に基づいて,タンジェントバンドルフィルタとタンジェントバンドルニューラルネットワーク(TNN)を定義する。
タンジェントバンドルフィルタは、スカラー多様体フィルタ、グラフフィルタ、標準畳み込みフィルタを連続的に一般化するスペクトル表現を許容する。
提案したアーキテクチャが様々な学習課題に与える影響を数値的に評価する。
論文 参考訳（メタデータ） (2023-03-20T17:57:15Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Lower and Upper Bounds on the VC-Dimension of Tensor Network Models [8.997952791113232]
ネットワーク法は凝縮物質物理学の進歩の重要な要素である。
これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。
本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
論文 参考訳（メタデータ） (2021-06-22T14:39:25Z) - Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions [0.0]
目的関数の任意の滑らか度順序に対して、TN が $h$-uniform と $h$-adaptive 近似を最適に複製できることが示される。
TNは、問題のある特定のクラスに適応することなく、(ほぼ)多くの関数クラスを最適に近似する能力を持っている。
論文 参考訳（メタデータ） (2021-01-28T11:09:40Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Approximation with Tensor Networks. Part II: Approximation Rates for
Smoothness Classes [0.0]
滑らか度クラスから関数のテンソルネットワーク(TN)による近似について検討する。
結果として得られるツールは、フィードフォワードニューラルネットワークとして解釈できる。
任意のベソフ関数は最適あるいはほぼ最適な速度で近似できることを示す。
論文 参考訳（メタデータ） (2020-06-30T21:57:42Z) - Optimization at the boundary of the tensor network variety [2.1839191255085995]
テンソルネットワーク状態は、量子多体系の研究で広く用いられる変分アンザッツ類を形成する。
最近の研究により、この多様体の境界上の状態は、物理的興味のある状態に対するより効率的な表現をもたらすことが示されている。
局所ハミルトンの基底状態を見つけるために、このクラスを最適化する方法を示す。
論文 参考訳（メタデータ） (2020-06-30T16:58:55Z) - Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。
非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。
実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
論文 参考訳（メタデータ） (2020-03-07T01:56:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。