論文の概要: A Minimax Lower Bound for Low-Rank Matrix-Variate Logistic Regression

• arxiv url: http://arxiv.org/abs/2105.14673v1
• Date: Mon, 31 May 2021 02:06:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:25:44.094371
• Title: A Minimax Lower Bound for Low-Rank Matrix-Variate Logistic Regression
• Title（参考訳）: 低ランク行列可変ロジスティック回帰のためのミニマックス下界
• Authors: Batoul Taki, Mohsen Ghassemi, Anand D. Sarwate, and Waheed U. Bajwa
• Abstract要約: ロジスティック回帰問題における係数行列の推定に関する基本的な誤差閾値は、ミニマックスリスクの低い境界を導出することによって得られる。 本論文は,低ランク係数行列に対するミニマックスリスク低境界の導出に焦点をあてる。 結果として生じる境界は、問題の内在的な自由度に比例する。
• 参考スコア（独自算出の注目度）: 15.730473673760804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the problem of matrix-variate logistic regression. The fundamental error threshold on estimating coefficient matrices in the logistic regression problem is found by deriving a lower bound on the minimax risk. The focus of this paper is on derivation of a minimax risk lower bound for low-rank coefficient matrices. The bound depends explicitly on the dimensions and distribution of the covariates, the rank and energy of the coefficient matrix, and the number of samples. The resulting bound is proportional to the intrinsic degrees of freedom in the problem, which suggests the sample complexity of the low-rank matrix logistic regression problem can be lower than that for vectorized logistic regression. \color{red}\color{black} The proof techniques utilized in this work also set the stage for development of minimax lower bounds for tensor-variate logistic regression problems.
• Abstract（参考訳）: 本稿では,行列-変量ロジスティック回帰の問題を考える。 ロジスティック回帰問題における係数行列の推定に関する基本的な誤差閾値は、ミニマックスリスクの低い境界を導出したものである。 本稿では,低ランク係数行列に対する最小リスク低境界の導出に着目した。 境界は共変量の次元と分布、係数行列の階数とエネルギー、サンプルの数に明示的に依存する。 結果として得られる境界は問題の内在的な自由度に比例し、低ランク行列ロジスティック回帰問題のサンプル複雑性はベクトル化ロジスティック回帰のそれよりも低いことが示唆される。 色{red}\color{black} この研究で使われている証明技術は、テンソル-変量ロジスティック回帰問題のためのミニマックス下限の開発段階も設定している。

関連論文リスト

• Non-convex matrix sensing: Breaking the quadratic rank barrier in the sample complexity [11.412228884390784]
  いくつかの測定値から低ランク2次凸行列を再構成する問題について検討した。 スペクトル特異性を持つ分解勾配は標本数と真理に収束することを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:09:28Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Quantized Low-Rank Multivariate Regression with Random Dithering [23.81618208119832]
  低ランク多変量回帰(LRMR)は重要な統計的学習モデルである。 基礎となる係数行列の推定に焦点をあてる。 我々は、ランダムディザリングを伴う均一な量子化、すなわち、量子化の前に適切なランダムノイズをデータに追加する。 制約付きラッソおよび正規化ラッソ推定器を提案し、非漸近誤差境界を導出する。
  論文  参考訳（メタデータ） (2023-02-22T08:14:24Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• Robust Regularized Low-Rank Matrix Models for Regression and Classification [14.698622796774634]
  本稿では,ランク制約,ベクトル正規化(疎性など),一般損失関数に基づく行列変分回帰モデルのフレームワークを提案する。 アルゴリズムは収束することが保証されており、アルゴリズムのすべての累積点が$O(sqrtn)$100の順序で推定誤差を持ち、最小値の精度をほぼ達成していることを示す。
  論文  参考訳（メタデータ） (2022-05-14T18:03:48Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method [47.80060761046752]
  ロバスト低ランク行列補完(RMC)は、コンピュータビジョン、信号処理、機械学習アプリケーションのために広く研究されている。 この問題は、部分的に観察された行列を低ランク行列とスパース行列の重ね合わせに分解することを目的とした。 RMCに取り組むために広く用いられるアプローチは、低ランク行列の核ノルム(低ランク性を促進するために)とスパース行列のl1ノルム(空間性を促進するために)を最小化する凸定式化を考えることである。 本稿では、近年のローワークの動機付けについて述べる。
  論文  参考訳（メタデータ） (2020-08-18T04:46:22Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。