論文の概要: A Solution for Large Scale Nonlinear Regression with High Rank and
Degree at Constant Memory Complexity via Latent Tensor Reconstruction
- arxiv url: http://arxiv.org/abs/2005.01538v1
- Date: Mon, 4 May 2020 14:49:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 00:10:20.083690
- Title: A Solution for Large Scale Nonlinear Regression with High Rank and
Degree at Constant Memory Complexity via Latent Tensor Reconstruction
- Title(参考訳): 潜在テンソル再構成による高階数と一定メモリ複雑性度を有する大規模非線形回帰問題の一解法
- Authors: Sandor Szedmak (1), Anna Cichonska (1), Heli Julkunen (1), Tapio
Pahikkala (2), Juho Rousu (1), ((1) Aalto University, (2) University of
Turku)
- Abstract要約: 本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。
この手法は、連続函数をバイスで近似できるという性質を生かし、テンソルで表現できる。
モデルを学習するために,線形時間で実装可能な効率的なアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel method for learning highly nonlinear,
multivariate functions from examples. Our method takes advantage of the
property that continuous functions can be approximated by polynomials, which in
turn are representable by tensors. Hence the function learning problem is
transformed into a tensor reconstruction problem, an inverse problem of the
tensor decomposition. Our method incrementally builds up the unknown tensor
from rank-one terms, which lets us control the complexity of the learned model
and reduce the chance of overfitting. For learning the models, we present an
efficient gradient-based algorithm that can be implemented in linear time in
the sample size, order, rank of the tensor and the dimension of the input. In
addition to regression, we present extensions to classification, multi-view
learning and vector-valued output as well as a multi-layered formulation. The
method can work in an online fashion via processing mini-batches of the data
with constant memory complexity. Consequently, it can fit into systems equipped
only with limited resources such as embedded systems or mobile phones. Our
experiments demonstrate a favorable accuracy and running time compared to
competing methods.
- Abstract(参考訳): 本稿では,高非線形多変量関数を例から学習する新しい手法を提案する。
本手法は, 連続関数を多項式で近似できるという性質を生かして, テンソルで表現できる。
したがって、関数学習問題はテンソル分解の逆問題であるテンソル再構成問題へと変換される。
本手法では,ランク1項から未知テンソルを段階的に構築し,学習モデルの複雑さを制御し,過度に適合する確率を低減する。
モデルの学習には, サンプルサイズ, 順序, テンソルのランク, 入力の次元において, 線形時間で実装できる効率的な勾配に基づくアルゴリズムを提案する。
回帰に加えて,分類,多視点学習,ベクトル値アウトプットの拡張や多層定式化について述べる。
この方法は、データのミニバッチを一定メモリの複雑さで処理することで、オンライン形式で動作することができる。
これにより、組み込みシステムや携帯電話などの限られたリソースのみを備えたシステムに適合することができる。
本実験は,競合する手法と比較して,良好な精度と走行時間を示す。
関連論文リスト
- Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time [17.086679273053853]
本研究では,新しい高速近似法により,ほぼ線形時間で勾配を計算することができることを示す。
勾配の効率を改善することで、この作業がより効果的なトレーニングと長期コンテキスト言語モデルのデプロイを促進することを期待する。
論文 参考訳(メタデータ) (2024-08-23T17:16:43Z) - Tensor Decompositions Meet Control Theory: Learning General Mixtures of
Linear Dynamical Systems [19.47235707806519]
テンソル分解に基づく線形力学系の混合を学習するための新しいアプローチを提案する。
このアルゴリズムは, 成分の分離条件が強くないまま成功し, 軌道のベイズ最適クラスタリングと競合することができる。
論文 参考訳(メタデータ) (2023-07-13T03:00:01Z) - Low-Rank Tensor Function Representation for Multi-Dimensional Data
Recovery [52.21846313876592]
低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。
テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。
提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
論文 参考訳(メタデータ) (2022-12-01T04:00:38Z) - What learning algorithm is in-context learning? Investigations with
linear models [87.91612418166464]
本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。
訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。
文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
論文 参考訳(メタデータ) (2022-11-28T18:59:51Z) - Learning Globally Smooth Functions on Manifolds [94.22412028413102]
スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。
本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。
軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
論文 参考訳(メタデータ) (2022-10-01T15:45:35Z) - Tensor Network Kalman Filtering for Large-Scale LS-SVMs [17.36231167296782]
最小二乗支援ベクトルマシンは非線形回帰と分類に使用される。
テンソルネットワークとカルマンフィルタに基づくフレームワークは、要求されるメモリと計算の複雑さを軽減する。
その結果,提案手法は高い性能を達成でき,代替手法が計算能力に欠ける場合には特に有用であることがわかった。
論文 参考訳(メタデータ) (2021-10-26T08:54:03Z) - Large-Scale Learning with Fourier Features and Tensor Decompositions [3.6930948691311007]
決定論的フーリエ特徴のテンソル積構造を利用して、モデルパラメータを低ランクテンソル分解として表現することができる。
数値実験により、我々の低ランクテンソル法が対応する非パラメトリックモデルと同じ性能を得ることを示す。
論文 参考訳(メタデータ) (2021-09-03T14:12:53Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳(メタデータ) (2021-04-13T23:21:01Z) - Estimating Vector Fields from Noisy Time Series [6.939768185086753]
一次元神経形状関数のテンソル積からなるニューラルネットワークアーキテクチャについて述べる。
ニューラルネットワークの近似特性はニューラル形状関数アーキテクチャで維持されている。
また、我々のニューラル形状関数法と既存の微分方程式学習法を交互に最小化と複数軌跡に組み合わせて検討した。
論文 参考訳(メタデータ) (2020-12-06T07:27:56Z) - Spectral Learning on Matrices and Tensors [74.88243719463053]
テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。
また,効率的なテンソル分解法を設計するための計算手法についても概説する。
論文 参考訳(メタデータ) (2020-04-16T22:53:00Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳(メタデータ) (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。