論文の概要: Approximation with Tensor Networks. Part II: Approximation Rates for
Smoothness Classes
- arxiv url: http://arxiv.org/abs/2007.00128v3
- Date: Fri, 5 Feb 2021 14:41:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 06:38:34.722876
- Title: Approximation with Tensor Networks. Part II: Approximation Rates for
Smoothness Classes
- Title（参考訳）: テンソルネットワークによる近似。
第2部:滑らかさクラスの近似率
- Authors: Mazen Ali and Anthony Nouy
- Abstract要約: 滑らか度クラスから関数のテンソルネットワーク(TN)による近似について検討する。
結果として得られるツールは、フィードフォワードニューラルネットワークとして解釈できる。
任意のベソフ関数は最適あるいはほぼ最適な速度で近似できることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the approximation by tensor networks (TNs) of functions from
classical smoothness classes. The considered approximation tool combines a
tensorization of functions in $L^p([0,1))$, which allows to identify a
univariate function with a multivariate function (or tensor), and the use of
tree tensor networks (the tensor train format) for exploiting low-rank
structures of multivariate functions. The resulting tool can be interpreted as
a feed-forward neural network, with first layers implementing the
tensorization, interpreted as a particular featuring step, followed by a
sum-product network with sparse architecture. In part I of this work, we
presented several approximation classes associated with different measures of
complexity of tensor networks and studied their properties. In this work (part
II), we show how classical approximation tools, such as polynomials or splines
(with fixed or free knots), can be encoded as a tensor network with controlled
complexity. We use this to derive direct (Jackson) inequalities for the
approximation spaces of tensor networks. This is then utilized to show that
Besov spaces are continuously embedded into these approximation spaces. In
other words, we show that arbitrary Besov functions can be approximated with
optimal or near to optimal rate. We also show that an arbitrary function in the
approximation class possesses no Besov smoothness, unless one limits the depth
of the tensor network.
- Abstract（参考訳）: 古典的滑らか度クラスから関数のテンソルネットワーク(TN)による近似について検討する。
この近似ツールは、関数のテンソル化を$l^p([0,1))$と組み合わせ、多変量関数(またはテンソル)と不定値関数を識別し、多変量関数の低階構造を利用するためにツリーテンソルネットワーク(テンソルトレイン形式)を使用する。
得られたツールはフィードフォワードニューラルネットワークとして解釈することができ、最初のレイヤはテンソル化を実装し、特定の特徴付けステップとして解釈される。
本研究の第1部では,テンソルネットワークの複雑性の異なる尺度に関連する近似クラスをいくつか提示し,それらの性質について検討した。
この研究(パートII)では、多項式やスプライン(固定あるいは自由結び目を持つ)のような古典的な近似ツールが、制御複雑性を持つテンソルネットワークとしてエンコード可能であることを示す。
これを用いてテンソルネットワークの近似空間に対する直接(ジャックソン)不等式を導出する。
このことは、ベソフ空間がこれらの近似空間に連続的に埋め込まれていることを示すために使われる。
言い換えれば、任意のベソフ函数は最適あるいはほぼ最適な速度で近似できる。
また、近似クラスの任意の函数は、テンソルネットワークの深さを制限しない限り、ベソフの滑らかさを持たないことを示す。
関連論文リスト
- Compressing multivariate functions with tree tensor networks [0.0]
1次元テンソルネットワークは、連続関数の数値アンザッツとしてますます利用されている。
構造木テンソルネットワークが、一般的に使用されるテンソルトレインよりもはるかに効率的なアンザッツを提供することを示す。
論文 参考訳（メタデータ） (2024-10-04T16:20:52Z) - TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。
ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
論文 参考訳（メタデータ） (2023-06-14T15:55:19Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳（メタデータ） (2022-12-01T04:00:38Z) - Tensor networks in machine learning [0.0]
テンソルネットワーク(テンソルネットワーク)は、大規模なデータ配列を表現および近似するために用いられる分解である。
テンソルネットワークと機械学習の融合は自然である。
ここで、ネットワークパラメータを調整して、データセットを学習または分類する。
論文 参考訳（メタデータ） (2022-07-06T18:00:00Z) - Benefits of Overparameterized Convolutional Residual Networks: Function
Approximation under Smoothness Constraint [48.25573695787407]
大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。
我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
論文 参考訳（メタデータ） (2022-06-09T15:35:22Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions [0.0]
目的関数の任意の滑らか度順序に対して、TN が $h$-uniform と $h$-adaptive 近似を最適に複製できることが示される。
TNは、問題のある特定のクラスに適応することなく、(ほぼ)多くの関数クラスを最適に近似する能力を持っている。
論文 参考訳（メタデータ） (2021-01-28T11:09:40Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Approximation with Tensor Networks. Part I: Approximation Spaces [0.0]
テンソルネットワーク(TN)による関数の近似について検討する。
一次元のルベーグ$Lp$-空間はテンソル化によって任意の順序のテンソル積空間と同一視できることを示す。
これらの近似クラスの函数はベソフの滑らかさを持たないことを示す。
論文 参考訳（メタデータ） (2020-06-30T21:32:59Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。