論文の概要: Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions

• arxiv url: http://arxiv.org/abs/2101.11932v5
• Date: Tue, 25 Jun 2024 06:24:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 23:34:57.548079
• Title: Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions
• Title（参考訳）: 木テンソルネットワークの近似理論:テンソル化多変量関数
• Authors: Mazen Ali, Anthony Nouy,
• Abstract要約: 目的関数の任意の滑らか度順序に対して、TN が $h$-uniform と $h$-adaptive 近似を最適に複製できることが示される。 TNは、問題のある特定のクラスに適応することなく、(ほぼ)多くの関数クラスを最適に近似する能力を持っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the approximation of multivariate functions with tensor networks (TNs). The main conclusion of this work is an answer to the following two questions: ``What are the approximation capabilities of TNs?" and "What is an appropriate model class of functions that can be approximated with TNs?" To answer the former, we show that TNs can (near to) optimally replicate $h$-uniform and $h$-adaptive approximation, for any smoothness order of the target function. Tensor networks thus exhibit universal expressivity w.r.t. isotropic, anisotropic and mixed smoothness spaces that is comparable with more general neural networks families such as deep rectified linear unit (ReLU) networks. Put differently, TNs have the capacity to (near to) optimally approximate many function classes -- without being adapted to the particular class in question. To answer the latter, as a candidate model class we consider approximation classes of TNs and show that these are (quasi-)Banach spaces, that many types of classical smoothness spaces are continuously embedded into said approximation classes and that TN approximation classes are themselves not embedded in any classical smoothness space.
• Abstract（参考訳）: テンソルネットワーク(TN)を用いた多変量関数の近似について検討する。 この研究の主な結論は、以下の2つの質問に対する答えである: 「TNs の近似能力は何か?」「TNs と近似できる関数の適切なモデルクラスは何なのか?」 前者への答えとして、ターゲット関数の滑らか度順序に対して、TNs が $h$-uniform と $h$-adaptive の近似を最適に再現できる(その近く)ことを示す。 これによりテンソルネットワークは、深い整流線形ユニット(ReLU)ネットワークのようなより一般的なニューラルネットワークファミリに匹敵する、普遍的表現性 w.r.t.等方性、異方性、混合滑らか性空間を示す。 異なることに、TNは、問題のある特定のクラスに適応することなく、多くの関数クラスを最適に近似する能力を持っている。 後者に答えるために、候補モデルクラスとして、TN の近似クラスを検討し、これらが(準)バナッハ空間であることを示し、古典的滑らか性空間の多くの型がこれらの近似クラスに連続的に埋め込まれ、TN 近似クラスは古典的滑らか性空間に自身は埋め込まれていないことを示す。

関連論文リスト

• Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
  我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。 また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
  論文  参考訳（メタデータ） (2024-01-08T23:54:46Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Maximally Compact and Separated Features with Regular Polytope Networks [22.376196701232388]
  本稿では, CNN から抽出する方法として, クラス間分離性とクラス間圧縮性の特性について述べる。 我々は、よく知られた citewen2016discriminative や他の類似したアプローチで得られる特徴と類似した特徴を得る。
  論文  参考訳（メタデータ） (2023-01-15T15:20:57Z)
• Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
  近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。 古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
  論文  参考訳（メタデータ） (2021-10-28T17:11:38Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Approximation with Tensor Networks. Part II: Approximation Rates for Smoothness Classes [0.0]
  滑らか度クラスから関数のテンソルネットワーク(TN)による近似について検討する。 結果として得られるツールは、フィードフォワードニューラルネットワークとして解釈できる。 任意のベソフ関数は最適あるいはほぼ最適な速度で近似できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T21:57:42Z)
• Approximation with Tensor Networks. Part I: Approximation Spaces [0.0]
  テンソルネットワーク(TN)による関数の近似について検討する。 一次元のルベーグ$Lp$-空間はテンソル化によって任意の順序のテンソル積空間と同一視できることを示す。 これらの近似クラスの函数はベソフの滑らかさを持たないことを示す。
  論文  参考訳（メタデータ） (2020-06-30T21:32:59Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。