論文の概要: Robust Regularized Low-Rank Matrix Models for Regression and Classification

• arxiv url: http://arxiv.org/abs/2205.07106v1
• Date: Sat, 14 May 2022 18:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 14:24:38.664155
• Title: Robust Regularized Low-Rank Matrix Models for Regression and Classification
• Title（参考訳）: 回帰分類のためのロバスト正規化低ランク行列モデル
• Authors: Hsin-Hsiung Huang, Feng Yu, Xing Fan, Teng Zhang
• Abstract要約: 本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。 アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
• 参考スコア（独自算出の注目度）: 14.698622796774634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While matrix variate regression models have been studied in many existing works, classical statistical and computational methods for the analysis of the regression coefficient estimation are highly affected by high dimensional and noisy matrix-valued predictors. To address these issues, this paper proposes a framework of matrix variate regression models based on a rank constraint, vector regularization (e.g., sparsity), and a general loss function with three special cases considered: ordinary matrix regression, robust matrix regression, and matrix logistic regression. We also propose an alternating projected gradient descent algorithm. Based on analyzing our objective functions on manifolds with bounded curvature, we show that the algorithm is guaranteed to converge, all accumulation points of the iterates have estimation errors in the order of $O(1/\sqrt{n})$ asymptotically and substantially attaining the minimax rate. Our theoretical analysis can be applied to general optimization problems on manifolds with bounded curvature and can be considered an important technical contribution to this work. We validate the proposed method through simulation studies and real image data examples.
• Abstract（参考訳）: 行列変量回帰モデルは多くの既存研究で研究されているが、回帰係数推定の古典的統計学的および計算的手法は高次元および雑音的行列値予測器の影響を強く受けている。 これらの問題に対処するため,本稿では,階数制約,ベクトル正規化(sparsity),一般損失関数に基づく行列変量回帰モデルの枠組みを提案し,一般行列回帰,ロバスト行列回帰,行列ロジスティック回帰の3つの特別な場合について述べる。 また,交互に投影する勾配降下アルゴリズムを提案する。 有界な曲率を持つ多様体上の対象関数を解析した結果、アルゴリズムは収束することが保証されていることが示され、イテレートの累積点はすべて、漸近的に、実質的にミニマックス率を達成するために$o(1/\sqrt{n})の順に推定誤差を持つ。 理論解析は、有界曲率を持つ多様体の一般最適化問題に適用でき、本研究における重要な技術的貢献と考えられる。 提案手法はシミュレーション研究と実画像データ例を用いて検証する。

関連論文リスト

• Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
  本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。 本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。 トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
  論文  参考訳（メタデータ） (2024-03-27T21:18:43Z)
• A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming [1.6874375111244329]
  本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。 提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1～2%以上よい結果を得た。
  論文  参考訳（メタデータ） (2024-01-16T16:45:51Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Nonparametric Trace Regression in High Dimensions via Sign Series Representation [13.37650464374017]
  高次元関数の構造的符号系列表現による非パラメトリックトレース回帰モデルのためのフレームワークを開発する。 行列完備化の文脈において、我々のフレームワークは、行列の「符号ランク」と呼ばれるものに基づいて、かなりリッチなモデルへと導かれる。
  論文  参考訳（メタデータ） (2021-05-04T22:20:00Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotic Errors for Teacher-Student Convex Generalized Linear Models (or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
  凸一般化線形モデルの再構成性能に関する解析式を検証した。 解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。 主流学習法に関する数値的な例で,本主張を述べる。
  論文  参考訳（メタデータ） (2020-06-11T16:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。