論文の概要: Global Convergence of Online Identification for Mixed Linear Regression
- arxiv url: http://arxiv.org/abs/2311.18506v1
- Date: Thu, 30 Nov 2023 12:30:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:44:56.265915
- Title: Global Convergence of Online Identification for Mixed Linear Regression
- Title（参考訳）: 混合線形回帰に対するオンライン同定のグローバル収束
- Authors: Yujing Liu, Zhixin Liu, and Lei Guo
- Abstract要約: 混合線形回帰(MLR)は非線形関係を特徴づける強力なモデルである。
本稿では,MLRの2つの基本クラスにおけるオンライン識別とデータクラスタリングの問題について検討する。
期待最大化原理に基づく新しいオンライン識別アルゴリズムを2つ導入する。
- 参考スコア（独自算出の注目度）: 1.9295130374196499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixed linear regression (MLR) is a powerful model for characterizing
nonlinear relationships by utilizing a mixture of linear regression sub-models.
The identification of MLR is a fundamental problem, where most of the existing
results focus on offline algorithms, rely on independent and identically
distributed (i.i.d) data assumptions, and provide local convergence results
only. This paper investigates the online identification and data clustering
problems for two basic classes of MLRs, by introducing two corresponding new
online identification algorithms based on the expectation-maximization (EM)
principle. It is shown that both algorithms will converge globally without
resorting to the traditional i.i.d data assumptions. The main challenge in our
investigation lies in the fact that the gradient of the maximum likelihood
function does not have a unique zero, and a key step in our analysis is to
establish the stability of the corresponding differential equation in order to
apply the celebrated Ljung's ODE method. It is also shown that the
within-cluster error and the probability that the new data is categorized into
the correct cluster are asymptotically the same as those in the case of known
parameters. Finally, numerical simulations are provided to verify the
effectiveness of our online algorithms.
- Abstract（参考訳）: 混合線形回帰(MLR)は線形回帰サブモデルの混合を利用して非線形関係を特徴づける強力なモデルである。
MLRの同定は基本的な問題であり、既存の結果のほとんどはオフラインアルゴリズムに焦点をあて、独立で同一に分散されたデータ仮定に依存し、局所収束結果のみを提供する。
本稿では,予測最大化(EM)原理に基づく2つの新しいオンライン識別アルゴリズムを導入することにより,MLRの2つの基本クラスに対するオンライン識別とデータクラスタリングの問題を検討する。
どちらのアルゴリズムも従来のi.i.dデータ仮定に頼らずにグローバルに収束することが示されている。
本研究の主な課題は,最大度関数の勾配が一意な零点を持たないという事実であり,本解析の重要なステップは,有名なljungのode法を適用するために対応する微分方程式の安定性を確立することである。
また、クラスタ内エラーと、新しいデータが正しいクラスタに分類される確率は、既知のパラメータの場合と漸近的に同じであることが示されている。
最後に,オンラインアルゴリズムの有効性を検証する数値シミュレーションを行った。
関連論文リスト
- Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms [22.79595679373698]
混合線形回帰は統計学と機械学習においてよく研究されている問題である。
本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。
AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
論文 参考訳（メタデータ） (2024-06-03T09:43:24Z) - Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。
近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
論文 参考訳（メタデータ） (2024-05-28T14:46:20Z) - Hybrid Top-Down Global Causal Discovery with Local Search for Linear and Nonlinear Additive Noise Models [2.0738462952016232]
関数因果モデルに基づく手法は、ユニークなグラフを識別することができるが、次元性の呪いや強いパラメトリックな仮定を課すことに苦しむ。
本研究では,局所的な因果構造を利用した観測データにおけるグローバル因果発見のための新しいハイブリッド手法を提案する。
我々は, 合成データに対する実証的な検証を行い, 正確性および最悪の場合の時間複雑度を理論的に保証する。
論文 参考訳（メタデータ） (2024-05-23T12:28:16Z) - Learning to Bound Counterfactual Inference in Structural Causal Models
from Observational and Randomised Data [64.96984404868411]
我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。
新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。
反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
論文 参考訳（メタデータ） (2022-12-06T12:42:11Z) - Identifiability and Asymptotics in Learning Homogeneous Linear ODE Systems from Discrete Observations [114.17826109037048]
通常の微分方程式(ODE)は、機械学習において最近多くの注目を集めている。
理論的な側面、例えば、統計的推定の識別可能性と特性は、いまだに不明である。
本稿では,1つの軌道からサンプリングされた等間隔の誤差のない観測結果から,同次線形ODE系の同定可能性について十分な条件を導出する。
論文 参考訳（メタデータ） (2022-10-12T06:46:38Z) - A Priori Denoising Strategies for Sparse Identification of Nonlinear
Dynamical Systems: A Comparative Study [68.8204255655161]
本研究では, 局所的およびグローバルな平滑化手法の性能と, 状態測定値の偏差について検討・比較する。
一般に,測度データセット全体を用いたグローバルな手法は,局所点の周辺に隣接するデータサブセットを用いる局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-01-29T23:31:25Z) - Fundamental limits and algorithms for sparse linear regression with
sublinear sparsity [16.3460693863947]
正規化相互情報の正確な表現と疎線形回帰の最小平均二乗誤差(MMSE)を確立する。
本稿では、線形レギュレータに対して、既存のよく知られたAMPアルゴリズムをサブ線形に修正する方法を示す。
論文 参考訳（メタデータ） (2021-01-27T01:27:03Z) - A connection between the pattern classification problem and the General
Linear Model for statistical inference [0.2320417845168326]
両方のアプローチ、すなわち。
GLM および LRM は、異なったドメイン、観察およびラベル ドメインに適用します。
より洗練された予測アルゴリズムに基づく統計的検査を導出する。
MLEベースの推論は、残留スコアを採用し、実際の(実際の)エラーのより良い推定を計算するために上界を含む。
論文 参考訳（メタデータ） (2020-12-16T12:26:26Z) - Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。
本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。
このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文 参考訳（メタデータ） (2020-09-29T12:50:33Z) - Learning Mixtures of Low-Rank Models [89.39877968115833]
低ランクモデルの計算混合を学習する問題について検討する。
ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。
さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
論文 参考訳（メタデータ） (2020-09-23T17:53:48Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。