Fugu-MT 論文翻訳(概要): TTML: tensor trains for general supervised machine learning

論文の概要: TTML: tensor trains for general supervised machine learning

arxiv url: http://arxiv.org/abs/2203.04352v1
Date: Tue, 8 Mar 2022 19:19:01 GMT
ステータス: 処理完了
システム内更新日: 2022-03-10 16:59:26.316773
Title: TTML: tensor trains for general supervised machine learning
Title（参考訳）: TTML:汎用機械学習のためのテンソルトレイン
Authors: Bart Vandereycken and Rik Voorhaar
Abstract要約: 本研究は、テンソルトレイン(TT)に基づく教師あり機械学習(ML)のための新しい汎用推定器を提案する。推定器はTTを用いて離散関数をパラメータ化し、テンソル完備問題の形で勾配降下を用いて最適化する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: This work proposes a novel general-purpose estimator for supervised machine learning (ML) based on tensor trains (TT). The estimator uses TTs to parametrize discretized functions, which are then optimized using Riemannian gradient descent under the form of a tensor completion problem. Since this optimization is sensitive to initialization, it turns out that the use of other ML estimators for initialization is crucial. This results in a competitive, fast ML estimator with lower memory usage than many other ML estimators, like the ones used for the initialization.
Abstract（参考訳）: 本稿では,テンソルトレイン(tt)に基づく教師付き機械学習(ml)のための汎用推定器を提案する。推定器はTTを用いて離散化関数をパラメトリゼーションし、テンソル完備問題の形でリーマン勾配勾配を用いて最適化する。この最適化は初期化に敏感であるため、初期化に他のML推定器を用いることが重要であることが判明した。これにより、初期化に使用されるような、他の多くのML推定器よりもメモリ使用量の少ない、競争力のある高速なML推定器が得られる。

関連論文リスト

Sparser Training for On-Device Recommendation Systems [50.74019319100728]
動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
論文参考訳（メタデータ） (2024-11-19T03:48:48Z)
Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition [27.29463801531576]
TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。我々はIHTとRGDの両方の線形収束速度を確立する。
論文参考訳（メタデータ） (2024-06-10T03:51:38Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
A Novel Tensor Factorization-Based Method with Robustness to Inaccurate Rank Estimation [9.058215418134209]
本稿では,2つの低ランク制約を持つテンソルノルムを提案する。結果のテンソル完成モデルが不正確なランク推定による性能劣化を効果的に回避できることが理論的に証明されている。これに基づいて、最適化アルゴリズムの各イテレーションの総コストは$mathcalO(n3log n + kn3)$から$mathcalO(n4)$に削減される。
論文参考訳（メタデータ） (2023-05-19T06:26:18Z)
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay [9.427635404752936]
テンソル・オン・テンソル回帰(tensor-on-tensor regression)について検討し、テンソル応答とテンソル共変量とをタッカー階数パラメータ/行列で結合する。我々は、未知の階級の課題に対処する2つの方法を提案する。一般テンソル・オン・テンソル回帰に対する最初の収束保証を提供する。
論文参考訳（メタデータ） (2022-06-17T13:15:27Z)
Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
論文参考訳（メタデータ） (2022-05-19T08:37:56Z)
Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。基本的に無視可能なコストで、同時に分散を低減することができる。
論文参考訳（メタデータ） (2021-07-01T06:43:11Z)
Optimal High-order Tensor SVD via Tensor-Train Orthogonal Iteration [10.034394572576922]
雑音の多い高次テンソル観測から低テンソルトレインのランク構造を推定する新しいアルゴリズムを提案する。提案したTTOIの利点は、高次マルコフ過程の推定と次元削減への応用を通して説明される。
論文参考訳（メタデータ） (2020-10-06T05:18:24Z)
Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文参考訳（メタデータ） (2020-02-08T21:06:02Z)
Grassmannian Optimization for Online Tensor Completion and Tracking with the t-SVD [10.137631021498109]
t-SVD は三次テンソルに対するよく研究されたブロック項分解の特殊化であることを示す。非完全ストリーミング2次元データから自由部分加群の変化を追跡するアルゴリズムを提案する。提案手法は精度は高いが, 実アプリケーション上での最先端のテンソル補完アルゴリズムよりも計算時間の方がはるかに高速である。
論文参考訳（メタデータ） (2020-01-30T15:56:14Z)
Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。