論文の概要: Lower and Upper Bounds on the VC-Dimension of Tensor Network Models
- arxiv url: http://arxiv.org/abs/2106.11827v1
- Date: Tue, 22 Jun 2021 14:39:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-23 14:49:00.194600
- Title: Lower and Upper Bounds on the VC-Dimension of Tensor Network Models
- Title（参考訳）: テンソルネットワークモデルのvc次元における下界と上界
- Authors: Behnoush Khavari, Guillaume Rabusseau
- Abstract要約: ネットワーク法は凝縮物質物理学の進歩の重要な要素である。
これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。
本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
- 参考スコア（独自算出の注目度）: 8.997952791113232
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor network methods have been a key ingredient of advances in condensed
matter physics and have recently sparked interest in the machine learning
community for their ability to compactly represent very high-dimensional
objects. Tensor network methods can for example be used to efficiently learn
linear models in exponentially large feature spaces [Stoudenmire and Schwab,
2016]. In this work, we derive upper and lower bounds on the VC dimension and
pseudo-dimension of a large class of tensor network models for classification,
regression and completion. Our upper bounds hold for linear models
parameterized by arbitrary tensor network structures, and we derive lower
bounds for common tensor decomposition models~(CP, Tensor Train, Tensor Ring
and Tucker) showing the tightness of our general upper bound. These results are
used to derive a generalization bound which can be applied to classification
with low rank matrices as well as linear classifiers based on any of the
commonly used tensor decomposition models. As a corollary of our results, we
obtain a bound on the VC dimension of the matrix product state classifier
introduced in [Stoudenmire and Schwab, 2016] as a function of the so-called
bond dimension~(i.e. tensor train rank), which answers an open problem listed
by Cirac, Garre-Rubio and P\'erez-Garc\'ia in [Cirac et al., 2019].
- Abstract（参考訳）: テンソルネットワーク法は、凝縮物質物理学の進歩の重要な要素であり、最近、非常に高次元の物体をコンパクトに表現する能力に対する機械学習コミュニティへの関心を喚起した。
例えば、テンソルネットワーク法は指数関数的に大きな特徴空間(Stoudenmire と Schwab, 2016)で線型モデルを効率的に学習するのに使うことができる。
本研究では,vc次元上の上・下界と,分類・回帰・完備のためのテンソルネットワークモデルの大規模クラスにおける擬次元を導出する。
我々の上界は任意のテンソルネットワーク構造によってパラメータ化された線形モデルに対して成り立ち、一般的なテンソル分解モデル~(CP, Tensor Train, Tensor Ring, Tucker)に対して下界を導出する。
これらの結果は、一般に使用されるテンソル分解モデルのいずれかに基づく線形分類器と同様に、低階行列の分類に適用できる一般化境界の導出に使用される。
結果の系として、[stoudenmire and schwab, 2016]で導入された行列積状態分類器のvc次元を、いわゆる結合次元~(すなわち、結合次元)の関数として定義する。
cirac, garre-rubio, p\'erez-garc\'iaが[cirac et al., 2019]で挙げたオープンな問題に答えている。
関連論文リスト
- SpaceMesh: A Continuous Representation for Learning Manifold Surface Meshes [61.110517195874074]
本稿では,ニューラルネットワークの出力として,複雑な接続性を持つ多様体多角形メッシュを直接生成する手法を提案する。
私たちの重要なイノベーションは、各メッシュで連続的な遅延接続空間を定義することです。
アプリケーションでは、このアプローチは生成モデルから高品質な出力を得るだけでなく、メッシュ修復のような挑戦的な幾何処理タスクを直接学習することを可能にする。
論文 参考訳（メタデータ） (2024-09-30T17:59:03Z) - Entangling Machine Learning with Quantum Tensor Networks [13.609946378021016]
本稿では,高次元量子状態を効率的に表現できるテンソルネットワークの言語モデリングへの応用について検討する。
この問題を、言語に類似した長距離相関を示すモツキンスピン鎖のモデル化に抽象化する。
テンソルモデルがほぼ完全な分類能力に到達し,有効なトレーニング例の数が減少するにつれて,安定した性能を維持していることがわかった。
論文 参考訳（メタデータ） (2024-01-09T00:07:36Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳（メタデータ） (2022-12-01T04:00:38Z) - Interaction Decompositions for Tensor Network Regression [0.0]
異なる回帰器の相対的重要性を次数関数として評価する方法を示す。
相互作用次数の小さな部分集合にのみ明示的にトレーニングされた新しいタイプのテンソルネットワークモデルを導入する。
このことは、標準テンソルネットワークモデルが、低次項を非常に利用しない非効率な方法でそれらの回帰器を利用することを示唆している。
論文 参考訳（メタデータ） (2022-08-11T20:17:27Z) - Patch-based medical image segmentation using Quantum Tensor Networks [1.5899411215927988]
テンソルネットワークを用いた教師付き設定で画像分割を定式化する。
鍵となるアイデアは、まず画像パッチのピクセルを指数関数的に高次元の特徴空間に引き上げることである。
提案モデルの性能を3つの2次元および1つの3次元バイオメディカルイメージングデータセットで評価した。
論文 参考訳（メタデータ） (2021-09-15T07:54:05Z) - Provable Lipschitz Certification for Generative Models [103.97252161103042]
生成モデルのリプシッツ定数を上界化するためのスケーラブルな手法を提案する。
この集合をゾノトープを用いた層状凸近似により近似する。
これにより、小さなネットワーク上で効率的かつ厳密なバウンダリを提供し、VAEおよびDCGANアーキテクチャ上の生成モデルにスケールすることができる。
論文 参考訳（メタデータ） (2021-07-06T17:00:29Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Provable Model-based Nonlinear Bandit and Reinforcement Learning: Shelve
Optimism, Embrace Virtual Curvature [61.22680308681648]
決定論的報酬を有する1層ニューラルネットバンディットにおいても,グローバル収束は統計的に難解であることを示す。
非線形バンディットとRLの両方に対して,オンラインモデル学習者による仮想アセンジ(Virtual Ascent with Online Model Learner)というモデルベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T12:41:56Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Anomaly Detection with Tensor Networks [2.3895981099137535]
テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。
画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
論文 参考訳（メタデータ） (2020-06-03T20:41:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。