論文の概要: Learning sparse generalized linear models with binary outcomes via iterative hard thresholding

• arxiv url: http://arxiv.org/abs/2502.18393v1
• Date: Tue, 25 Feb 2025 17:42:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:45.497448
• Title: Learning sparse generalized linear models with binary outcomes via iterative hard thresholding
• Title（参考訳）: 繰り返しハードしきい値を用いた疎一般化線形モデルの学習
• Authors: Namiko Matsumoto, Arya Mazumdar,
• Abstract要約: 統計学において、一般化線形モデル(GLM)はデータモデリングに広く用いられている。 本稿では,2次反復型ハードしきい値(BIHT)と呼ばれる反復型ハードしきい値(ReLU損失に対する投射勾配勾配)アルゴリズムの使用と解析を提案する。 BIHTは統計的に効率的であり、スパースバイナリGLMの一般クラスにおいてパラメータ推定のための正しい解に収束することを示す。
• 参考スコア（独自算出の注目度）: 15.283757486793226
• License:
• Abstract: In statistics, generalized linear models (GLMs) are widely used for modeling data and can expressively capture potential nonlinear dependence of the model's outcomes on its covariates. Within the broad family of GLMs, those with binary outcomes, which include logistic and probit regressions, are motivated by common tasks such as binary classification with (possibly) non-separable data. In addition, in modern machine learning and statistics, data is often high-dimensional yet has a low intrinsic dimension, making sparsity constraints in models another reasonable consideration. In this work, we propose to use and analyze an iterative hard thresholding (projected gradient descent on the ReLU loss) algorithm, called binary iterative hard thresholding (BIHT), for parameter estimation in sparse GLMs with binary outcomes. We establish that BIHT is statistically efficient and converges to the correct solution for parameter estimation in a general class of sparse binary GLMs. Unlike many other methods for learning GLMs, including maximum likelihood estimation, generalized approximate message passing, and GLM-tron (Kakade et al. 2011; Bahmani et al. 2016), BIHT does not require knowledge of the GLM's link function, offering flexibility and generality in allowing the algorithm to learn arbitrary binary GLMs. As two applications, logistic and probit regression are additionally studied. In this regard, it is shown that in logistic regression, the algorithm is in fact statistically optimal in the sense that the order-wise sample complexity matches (up to logarithmic factors) the lower bound obtained previously. To the best of our knowledge, this is the first work achieving statistical optimality for logistic regression in all noise regimes with a computationally efficient algorithm. Moreover, for probit regression, our sample complexity is on the same order as that obtained for logistic regression.
• Abstract（参考訳）: 統計学において、一般化線形モデル(GLM)はデータモデリングに広く使われ、モデルの結果が共変量に対して潜在的に非線形に依存することを表現することができる。 GLMの広いファミリーでは、ロジスティックおよびプロビット回帰を含むバイナリ結果を持つものは、(おそらく)非分離データによるバイナリ分類のような一般的なタスクによって動機付けられている。 さらに、現代の機械学習や統計学では、データは高次元であるが本質的な次元が低いことが多いため、モデルのスパーシティ制約は妥当な考慮事項である。 本稿では,2次繰り返しハードしきい値(BIHT)と呼ばれる反復的ハードしきい値(ReLU損失の勾配勾配)アルゴリズムを用いて,2次的な結果を持つスパースGLMのパラメータ推定を行う。 BIHTは統計的に効率的であり、スパースバイナリGLMの一般クラスにおいてパラメータ推定のための正しい解に収束することを示す。 最大推定、一般化された近似メッセージパッシング、GLM-tron (Kakade et al 2011; Bahmani et al 2016)を含む他の多くのGLM学習方法とは異なり、BIHTはGLMのリンク関数に関する知識を必要とせず、アルゴリズムが任意のバイナリGLMを学習できるようにする柔軟性と一般化を提供する。 2つの応用として、ロジスティック回帰とプロビット回帰が研究されている。 この点において、ロジスティック回帰において、このアルゴリズムは、オーダーワイドサンプルの複雑さが以前に得られた下界と(対数的要因まで)一致しているという意味で、統計的に最適であることを示す。 我々の知る限り、これは計算効率のよいアルゴリズムを用いて、全ての雑音状態におけるロジスティック回帰の統計的最適性を達成する最初の研究である。 さらに, プロビット回帰では, サンプルの複雑さはロジスティック回帰で得られたものと同じ順である。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming [1.6874375111244329]
  本稿では,一般化線形回帰モデルについて,確率制約問題として考察する。 提案アルゴリズムの結果は,通常のロジスティック回帰モデルよりも1～2%以上よい結果を得た。
  論文  参考訳（メタデータ） (2024-01-16T16:45:51Z)
• Minimally Supervised Learning using Topological Projections in Self-Organizing Maps [55.31182147885694]
  自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。 提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。 提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-12T22:51:48Z)
• A Unified Approach to Learning Ising Models: Beyond Independence and Bounded Width [7.605563562103568]
  我々はIsingモデルの基本パラメータをデータから効率的に学習する問題を再考する。 ノード単位のロジスティック回帰に基づく単純な既存手法が、いくつかの新しい設定で基盤モデルの回復に成功していることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:41:19Z)
• Generalized Oversampling for Learning from Imbalanced datasets and Associated Theory [0.0]
  教師あり学習では、実際の不均衡なデータセットに直面することが多い。 本稿では,カーネル密度推定に基づくデータ拡張手法であるGOLIATHアルゴリズムを提案する。 我々は,不均衡な回帰状況下でのGOLIATHアルゴリズムの性能を評価する。
  論文  参考訳（メタデータ） (2023-08-05T23:08:08Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Efficient Construction of Nonlinear Models over Normalized Data [21.531781003420573]
  混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。 本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
  論文  参考訳（メタデータ） (2020-11-23T19:20:03Z)
• Binary Classification of Gaussian Mixtures: Abundance of Support Vectors, Benign Overfitting and Regularization [39.35822033674126]
  生成ガウス混合モデルに基づく二項線形分類について検討する。 後者の分類誤差に関する新しい非漸近境界を導出する。 この結果は, 確率が一定である雑音モデルに拡張される。
  論文  参考訳（メタデータ） (2020-11-18T07:59:55Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。