論文の概要: Structured Low-Rank Tensors for Generalized Linear Models

• arxiv url: http://arxiv.org/abs/2308.02922v1
• Date: Sat, 5 Aug 2023 17:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 17:49:03.327111
• Title: Structured Low-Rank Tensors for Generalized Linear Models
• Title（参考訳）: 一般化線形モデルのための構造付き低ランクテンソル
• Authors: Batoul Taki, Anand D. Sarwate, and Waheed U. Bajwa
• Abstract要約: 一般化線形モデル(GLM)問題における低分離ランク(LSR)と呼ばれる新しい低ランクテンソルモデルについて検討する。 LSRモデルは有名なTuckerとCANDECOMP/PARAFAC(CP)モデルを一般化する。 合成データセットの実験は、3つの回帰型に対して提案したLSRテンソルモデルの有効性を示した。
• 参考スコア（独自算出の注目度）: 15.717917936953718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have shown that imposing tensor structures on the coefficient tensor in regression problems can lead to more reliable parameter estimation and lower sample complexity compared to vector-based methods. This work investigates a new low-rank tensor model, called Low Separation Rank (LSR), in Generalized Linear Model (GLM) problems. The LSR model -- which generalizes the well-known Tucker and CANDECOMP/PARAFAC (CP) models, and is a special case of the Block Tensor Decomposition (BTD) model -- is imposed onto the coefficient tensor in the GLM model. This work proposes a block coordinate descent algorithm for parameter estimation in LSR-structured tensor GLMs. Most importantly, it derives a minimax lower bound on the error threshold on estimating the coefficient tensor in LSR tensor GLM problems. The minimax bound is proportional to the intrinsic degrees of freedom in the LSR tensor GLM problem, suggesting that its sample complexity may be significantly lower than that of vectorized GLMs. This result can also be specialised to lower bound the estimation error in CP and Tucker-structured GLMs. The derived bounds are comparable to tight bounds in the literature for Tucker linear regression, and the tightness of the minimax lower bound is further assessed numerically. Finally, numerical experiments on synthetic datasets demonstrate the efficacy of the proposed LSR tensor model for three regression types (linear, logistic and Poisson). Experiments on a collection of medical imaging datasets demonstrate the usefulness of the LSR model over other tensor models (Tucker and CP) on real, imbalanced data with limited available samples.
• Abstract（参考訳）: 近年の研究では、回帰問題における係数テンソルにテンソル構造を導入すると、ベクトル法に比べてより信頼性の高いパラメータ推定とサンプル複雑性の低下につながることが示されている。 一般化線形モデル(GLM)問題における低分離ランク(LSR)と呼ばれる新しい低ランクテンソルモデルについて検討する。 有名なTuckerとCANDECOMP/PARAFAC(CP)モデルを一般化したLSRモデルは、ブロックテンソル分解(BTD)モデルの特別なケースであり、GLMモデルの係数テンソルに課される。 本研究では, LSR 構造テンソル GLM におけるパラメータ推定のためのブロック座標降下アルゴリズムを提案する。 最も重要なことは、LSRテンソルGLM問題の係数テンソルを推定する際の誤差しきい値の最小値の下界を導出する。 ミニマックス境界は、LSRテンソル GLM 問題における固有自由度に比例し、そのサンプルの複雑さはベクトル化された GLM のそれよりも著しく低い可能性があることを示唆している。 この結果は、CP および Tucker 構造 GLM における推定誤差を下げることにも特化できる。 導出境界はタッカー線形回帰の文献におけるタイト境界に匹敵するものであり、ミニマックス下限のタイト性はさらに数値的に評価される。 最後に、合成データセットに関する数値実験により、3つの回帰型(線形、ロジスティック、ポアソン)に対して提案したLSRテンソルモデルの有効性が示された。 医用画像データセットのコレクションに関する実験は、限られたサンプルの実際の不均衡データに対して、他のテンソルモデル(tuckerおよびcp)よりもlsrモデルの有用性を示す。

関連論文リスト

• Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition [27.29463801531576]
  TTに基づくToT回帰モデルの理論的およびアルゴリズム的側面について検討する。 制約付き誤差境界に対する解を効率的に見つけるための2つのアルゴリズムを提案する。 我々はIHTとRGDの両方の線形収束速度を確立する。
  論文  参考訳（メタデータ） (2024-06-10T03:51:38Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Statistical and computational rates in high rank tensor estimation [11.193504036335503]
  高次のテンソルデータセットは一般的にレコメンデーションシステム、ニューロイメージング、ソーシャルネットワークに現れる。 高階モデルと低階モデルの両方を組み込んだ生成潜在変数テンソルモデルを考える。 統計的-計算的ギャップは 3 以上の潜時変テンソルに対してのみ現れることを示す。
  論文  参考訳（メタデータ） (2023-04-08T15:34:26Z)
• Experimental observation on a low-rank tensor model for eigenvalue problems [3.378115152915894]
  関数近似として低ランクテンソルモデル (LTM) と勾配降下法を組み合わせて, 固有値問題の解法を提案する。
  論文  参考訳（メタデータ） (2023-02-01T16:03:41Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
  モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。 我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
  論文  参考訳（メタデータ） (2022-05-27T19:39:24Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression [17.158289775348063]
  カーネル化されたテンソル回帰(BKTR)は、低ランクの時間構造を持つモデリングプロセスに対する新しいスケーラブルなアプローチと考えられる。 そこで本研究では,BKTRのモデル推定と推定において,BKTRの優れた性能と効率性を確認した。
  論文  参考訳（メタデータ） (2021-08-31T19:22:23Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)
• Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal Method [6.381138694845438]
  高次構造を持つ大規模データに対するスパース・ローランク回帰モデルを提案する。 我々のモデルはテンソル係数の空間性と低ランク性を強制する。 我々のモデルの予測は、ビデオデータセットに意味のある解釈を示す。
  論文  参考訳（メタデータ） (2019-11-29T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。