論文の概要: Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models

• arxiv url: http://arxiv.org/abs/2309.05436v2
• Date: Fri, 8 Mar 2024 12:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:25:52.149602
• Title: Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models
• Title（参考訳）: より表現力のあるテンソルネットワークモデルのための量子フーリエと多項式特徴
• Authors: Frederiek Wesel, Kim Batselier
• Abstract要約: モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
• 参考スコア（独自算出の注目度）: 9.18287948559108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of kernel machines, polynomial and Fourier features are commonly used to provide a nonlinear extension to linear models by mapping the data to a higher-dimensional space. Unless one considers the dual formulation of the learning problem, which renders exact large-scale learning unfeasible, the exponential increase of model parameters in the dimensionality of the data caused by their tensor-product structure prohibits to tackle high-dimensional problems. One of the possible approaches to circumvent this exponential scaling is to exploit the tensor structure present in the features by constraining the model weights to be an underparametrized tensor network. In this paper we quantize, i.e. further tensorize, polynomial and Fourier features. Based on this feature quantization we propose to quantize the associated model weights, yielding quantized models. We show that, for the same number of model parameters, the resulting quantized models have a higher bound on the VC-dimension as opposed to their non-quantized counterparts, at no additional computational cost while learning from identical features. We verify experimentally how this additional tensorization regularizes the learning problem by prioritizing the most salient features in the data and how it provides models with increased generalization capabilities. We finally benchmark our approach on large regression task, achieving state-of-the-art results on a laptop computer.
• Abstract（参考訳）: カーネルマシンの文脈では、多項式とフーリエ特徴は、データを高次元空間にマッピングすることで線形モデルへの非線形拡張を提供するために一般的に使用される。 正確な大規模学習が不可能な学習問題の双対的定式化を考慮しなければ、テンソル積構造によるデータ次元におけるモデルパラメータの指数的増加は、高次元問題に対処することを禁じる。 この指数的スケーリングを回避するための可能なアプローチの1つは、モデル重みをアンダーパラメータ化テンソルネットワークに制限することで、機能に存在するテンソル構造を活用することである。 本稿では,さらにテンソル化,多項式,フーリエ特徴を定量化する。 この特徴量化に基づいて,関連するモデル重みを量子化し,量子化モデルを生成する。 同じ数のモデルパラメータに対して、結果として得られる量子化モデルは、同じ特徴から学習しながら計算コストを増すことなく、非量子化モデルに比べてvc次元により高い結合を持つことを示す。 この付加的なテンソル化が学習問題をいかに正規化するかを実験的に検証し,データ内の最も有意義な特徴を優先順位付けし,一般化能力を高めるモデルを提供するか検証した。 最後に,大規模回帰タスクに対する我々のアプローチをベンチマークし,ラップトップコンピュータで最新の結果を得た。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Theory on variational high-dimensional tensor networks [2.0307382542339485]
  ランダムな高次元ネットワーク状態の創発的統計特性とテンソルネットワークのトレーニング可能性について検討する。 変動高次元ネットワークが大域的損失関数のバレンプラトーに悩まされていることを証明した。 この結果は、将来の理論的研究と実践的応用の道を開くものである。
  論文  参考訳（メタデータ） (2023-03-30T15:26:30Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Interaction Decompositions for Tensor Network Regression [0.0]
  異なる回帰器の相対的重要性を次数関数として評価する方法を示す。 相互作用次数の小さな部分集合にのみ明示的にトレーニングされた新しいタイプのテンソルネットワークモデルを導入する。 このことは、標準テンソルネットワークモデルが、低次項を非常に利用しない非効率な方法でそれらの回帰器を利用することを示唆している。
  論文  参考訳（メタデータ） (2022-08-11T20:17:27Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)
• Large-Scale Learning with Fourier Features and Tensor Decompositions [3.6930948691311007]
  決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。 数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
  論文  参考訳（メタデータ） (2021-09-03T14:12:53Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。