論文の概要: On Learning Mixture of Linear Regressions in the Non-Realizable Setting

• arxiv url: http://arxiv.org/abs/2205.13166v1
• Date: Thu, 26 May 2022 05:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 13:54:28.327068
• Title: On Learning Mixture of Linear Regressions in the Non-Realizable Setting
• Title（参考訳）: 非可逆設定における線形回帰の学習混合について
• Authors: Avishek Ghosh, Arya Mazumdar, Soumyabrata Pal and Rajat Sen
• Abstract要約: 線形回帰(MLR)の混合はラベルを予測せずに値のリストを予測できることを示す。 本稿では,一般的な最小化 (AM) アルゴリズムのバージョンが,実現可能なモデルが仮定されていない場合でも,データセットに最も適した線を見つけることを示す。
• 参考スコア（独自算出の注目度）: 44.307245411703704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While mixture of linear regressions (MLR) is a well-studied topic, prior works usually do not analyze such models for prediction error. In fact, {\em prediction} and {\em loss} are not well-defined in the context of mixtures. In this paper, first we show that MLR can be used for prediction where instead of predicting a label, the model predicts a list of values (also known as {\em list-decoding}). The list size is equal to the number of components in the mixture, and the loss function is defined to be minimum among the losses resulted by all the component models. We show that with this definition, a solution of the empirical risk minimization (ERM) achieves small probability of prediction error. This begs for an algorithm to minimize the empirical risk for MLR, which is known to be computationally hard. Prior algorithmic works in MLR focus on the {\em realizable} setting, i.e., recovery of parameters when data is probabilistically generated by a mixed linear (noisy) model. In this paper we show that a version of the popular alternating minimization (AM) algorithm finds the best fit lines in a dataset even when a realizable model is not assumed, under some regularity conditions on the dataset and the initial points, and thereby provides a solution for the ERM. We further provide an algorithm that runs in polynomial time in the number of datapoints, and recovers a good approximation of the best fit lines. The two algorithms are experimentally compared.
• Abstract（参考訳）: 線形回帰(mlr)の混合はよく研究されている話題であるが、先行研究は通常、予測誤差のモデルを分析しない。 実際、混合の文脈では {\em prediction} と {\em loss} はよく定義されていない。 本稿ではまず,MLRを用いてラベルの予測を行う代わりに,値のリスト(reference of value)を予測できることを示す。 リストのサイズはミックス中のコンポーネントの数に等しく、損失関数はすべてのコンポーネントモデルによる損失の中で最小限に定義される。 この定義により、経験的リスク最小化(ERM)の解が予測誤差の小さな確率を達成することを示す。 このアルゴリズムは計算困難であることが知られているmlrの実証的リスクを最小限に抑えるよう要求する。 MLRにおける以前のアルゴリズム的な研究は、データの確率的に混合線形(ノイズ)モデルによって生成されるパラメータの回復に焦点をあてている。 本稿では,データセットと初期点の正規性条件下で,実現可能なモデルが仮定されていない場合でも,人気の交互最小化 (am) アルゴリズムのバージョンがデータセットの最適な適合線を見つけることを示し,ermの解を提供する。 さらに,データポイント数で多項式時間で動作し,最適な適合線を適切に近似するアルゴリズムを提供する。 2つのアルゴリズムは実験的に比較される。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Agnostic Learning of Mixed Linear Regressions with EM and AM Algorithms [22.79595679373698]
  混合線形回帰は統計学と機械学習においてよく研究されている問題である。 本稿では、サンプルから混合線形回帰を学習する際のより一般的な問題について考察する。 AMアルゴリズムとEMアルゴリズムは, 集団損失最小化器に収束することにより, 混合線形回帰学習につながることを示す。
  論文  参考訳（メタデータ） (2024-06-03T09:43:24Z)
• On the Performance of Empirical Risk Minimization with Smoothed Data [59.3428024282545]
  経験的リスク最小化(Empirical Risk Minimization、ERM)は、クラスがiidデータで学習可能であれば、サブ線形誤差を達成できる。 We show that ERM can able to achieve sublinear error when a class are learnable with iid data。
  論文  参考訳（メタデータ） (2024-02-22T21:55:41Z)
• Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
  従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。 線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。 実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:36Z)
• Minimax rate of consistency for linear models with missing values [0.0]
  多くの実世界のデータセットでは、複数のソースが集約され、本質的に欠落した情報(センサーの故障、調査における未回答の疑問...)が欠落する。 本稿では,広範に研究された線形モデルに焦点をあてるが,不足する値が存在する場合には,非常に難しい課題であることが判明した。 最終的には、多くの学習タスクを解決し、入力機能の数を指数関数的にすることで、現在の現実世界のデータセットでは予測が不可能になる。
  論文  参考訳（メタデータ） (2022-02-03T08:45:34Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula [30.84155327760468]
  本稿では,不確かさを定量化した値計算の欠如に対する枠組みを提案する。 モデルに適合するために必要な時間は、データセット内の行数や列数と線形にスケールする。 実験結果から,本手法は様々な種類のデータに対して最先端の計算精度が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-18T19:51:42Z)
• Robust Compressed Sensing using Generative Models [98.64228459705859]
  本稿では,Median-of-Means (MOM) にヒントを得たアルゴリズムを提案する。 我々のアルゴリズムは、外れ値が存在する場合でも、重み付きデータの回復を保証する。
  論文  参考訳（メタデータ） (2020-06-16T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。