論文の概要: Learning a Class of Mixed Linear Regressions: Global Convergence under General Data Conditions

• arxiv url: http://arxiv.org/abs/2503.18500v1
• Date: Mon, 24 Mar 2025 09:57:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:40.426699
• Title: Learning a Class of Mixed Linear Regressions: Global Convergence under General Data Conditions
• Title（参考訳）: 混合線形回帰のクラスを学習する: 一般データ条件下でのグローバル収束
• Authors: Yujing Liu, Zhixin Liu, Lei Guo,
• Abstract要約: 線形回帰モデル(MLR)は線形回帰モデル(英語版)の混合を利用して非線形関係における理論的および実践的重要性から注目されている。 このようなシステムの学習問題に多大な努力が注がれているが、既存のほとんどの調査では、厳密な独立性と同一に分散された(d.d.)あるいは分散PE条件が課されている。
• 参考スコア（独自算出の注目度）: 1.9295130374196499
• License:
• Abstract: Mixed linear regression (MLR) has attracted increasing attention because of its great theoretical and practical importance in capturing nonlinear relationships by utilizing a mixture of linear regression sub-models. Although considerable efforts have been devoted to the learning problem of such systems, i.e., estimating data labels and identifying model parameters, most existing investigations employ the offline algorithm, impose the strict independent and identically distributed (i.i.d.) or persistent excitation (PE) conditions on the regressor data, and provide local convergence results only. In this paper, we investigate the recursive estimation and data clustering problems for a class of stochastic MLRs with two components. To address this inherently nonconvex optimization problem, we propose a novel two-step recursive identification algorithm to estimate the true parameters, where the direction vector and the scaling coefficient of the unknown parameters are estimated by the least squares and the expectation-maximization (EM) principles, respectively. Under a general data condition, which is much weaker than the traditional i.i.d. and PE conditions, we establish the global convergence and the convergence rate of the proposed identification algorithm for the first time. Furthermore, we prove that, without any excitation condition on the regressor data, the data clustering performance including the cumulative mis-classification error and the within-cluster error can be optimal asymptotically. Finally, we provide a numerical example to illustrate the performance of the proposed learning algorithm.
• Abstract（参考訳）: 線形回帰モデル(MLR)は線形回帰モデル(英語版)の混合を利用して非線形関係を捉えることの理論的および実践的重要性から注目されている。 このようなシステムの学習問題、すなわちデータラベルの推定とモデルパラメータの同定に多大な努力が注がれているが、既存の研究の多くはオフラインアルゴリズムを採用し、厳密な独立性と同一の分散(すなわち、PE)条件を回帰データに課し、局所収束結果のみを提供する。 本稿では,2つの成分を持つ確率的MLRのクラスに対する再帰的推定とデータクラスタリング問題について検討する。 この本質的に非凸最適化問題に対処するために、未知パラメータの方向ベクトルとスケーリング係数をそれぞれ最小二乗と期待最大化(EM)の原理で推定する、真のパラメータを推定する2段階再帰的同定アルゴリズムを提案する。 従来の i.d. と PE の条件よりもはるかに弱い一般的なデータ条件の下では,提案した同定アルゴリズムのグローバル収束と収束率を初めて確立する。 さらに、回帰器データに励起条件がなければ、累積誤分類誤差とクラスタ内誤差を含むデータクラスタリング性能が漸近的に最適であることを示す。 最後に,提案アルゴリズムの性能を示す数値的な例を示す。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
  2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。 近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
  論文  参考訳（メタデータ） (2024-05-28T14:46:20Z)
• Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.375943263571389]
  逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
  論文  参考訳（メタデータ） (2024-01-29T22:52:57Z)
• Global Convergence of Online Identification for Mixed Linear Regression [1.9295130374196499]
  混合線形回帰(MLR)は非線形関係を特徴づける強力なモデルである。 本稿では,MLRの2つの基本クラスにおけるオンライン識別とデータクラスタリングの問題について検討する。 期待最大化原理に基づく新しいオンライン識別アルゴリズムを2つ導入する。
  論文  参考訳（メタデータ） (2023-11-30T12:30:42Z)
• A unified consensus-based parallel ADMM algorithm for high-dimensional regression with combined regularizations [3.280169909938912]
  並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。 提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-11-21T03:30:38Z)
• GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• A Priori Denoising Strategies for Sparse Identification of Nonlinear Dynamical Systems: A Comparative Study [68.8204255655161]
  本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。 一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-29T23:31:25Z)
• Riemannian classification of EEG signals with missing values [67.90148548467762]
  本稿では脳波の分類に欠落したデータを扱うための2つの方法を提案する。 第1のアプローチでは、インプットされたデータと$k$-nearestの隣人アルゴリズムとの共分散を推定し、第2のアプローチでは、期待最大化アルゴリズム内で観測データの可能性を活用することにより、観測データに依存する。 その結果, 提案手法は観測データに基づく分類よりも優れており, 欠落したデータ比が増大しても高い精度を維持することができることがわかった。
  論文  参考訳（メタデータ） (2021-10-19T14:24:50Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Asymptotic Analysis of an Ensemble of Randomly Projected Linear Discriminants [94.46276668068327]
  [1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。 我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。 また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
  論文  参考訳（メタデータ） (2020-04-17T12:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。