論文の概要: Imbalanced Mixed Linear Regression

• arxiv url: http://arxiv.org/abs/2301.12559v1
• Date: Sun, 29 Jan 2023 22:08:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:20:16.825613
• Title: Imbalanced Mixed Linear Regression
• Title（参考訳）: 不均衡混合線形回帰
• Authors: Pini Zilber and Boaz Nadler
• Abstract要約: 現実的な応用では、K$成分の比率はしばしば不均衡である。 バランスの取れた混合と不均衡な混合の両面において優れた性能を有するMLRの新しい,単純かつ高速なアルゴリズムであるMix-IRLSを提案する。 K$モデルを同時に回収する一般的なアプローチとは対照的に、Mix-IRLSは堅牢な回帰からツールを逐次使用する。
• 参考スコア（独自算出の注目度）: 4.997371967242497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of mixed linear regression (MLR), where each observed sample belongs to one of $K$ unknown linear models. In practical applications, the proportions of the $K$ components are often imbalanced. Unfortunately, most MLR methods do not perform well in such settings. Motivated by this practical challenge, in this work we propose Mix-IRLS, a novel, simple and fast algorithm for MLR with excellent performance on both balanced and imbalanced mixtures. In contrast to popular approaches that recover the $K$ models simultaneously, Mix-IRLS does it sequentially using tools from robust regression. Empirically, Mix-IRLS succeeds in a broad range of settings where other methods fail. These include imbalanced mixtures, small sample sizes, presence of outliers, and an unknown number of models $K$. In addition, Mix-IRLS outperforms competing methods on several real-world datasets, in some cases by a large margin. We complement our empirical results by deriving a recovery guarantee for Mix-IRLS, which highlights its advantage on imbalanced mixtures.
• Abstract（参考訳）: ここでは,各サンプルが未知の線形モデルの1つに属する混合線形回帰(MLR)の問題を考察する。 実用的な応用では、K$成分の割合はしばしば不均衡である。 残念ながら、ほとんどのMLRメソッドはそのような設定ではうまく機能しない。 そこで本研究では,均衡混合と不均衡混合の両方において優れた性能を有するmlrのための新しい単純高速アルゴリズムであるmix-irlsを提案する。 K$モデルを同時に回収する一般的なアプローチとは対照的に、Mix-IRLSは堅牢な回帰からツールを逐次使用する。 経験的に、Mix-IRLSは他のメソッドが失敗する幅広い設定で成功する。 これらは、不均衡混合物、小さなサンプルサイズ、異常値の存在、未知数のモデル$k$を含む。 さらにmix-irlは、いくつかの実世界のデータセットで競合するメソッドを上回っています。 我々は,不均衡混合に対する優位性を強調したMix-IRLSの回復保証を導出した経験的結果を補完する。

関連論文リスト

• RegMix: Data Mixture as Regression for Language Model Pre-training [40.45464495981735]
  本稿では,レグレッションタスクとして定式化することで,ハイパフォーマンスなデータ混合物を自動的に識別するRegMixを提案する。 RegMixでは、さまざまなデータ混在の小さなモデルのセットをトレーニングし、レグレッションモデルを適用してパフォーマンスを予測する。 提案手法は,人間の選択に比較して優れた性能を示し,DoReMiに匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-07-01T17:31:03Z)
• Fast Semisupervised Unmixing Using Nonconvex Optimization [80.11512905623417]
  半/ライブラリベースのアンミックスのための新しい凸凸モデルを提案する。 スパース・アンミキシングの代替手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-23T10:07:41Z)
• AMPLIFY:Attention-based Mixup for Performance Improvement and Label Smoothing in Transformer [2.3072402651280517]
  AMPLIFYはTransformer自体のアテンション機構を使用して、元のサンプルのノイズや異常値が予測結果に与える影響を低減する。 実験の結果,AMPLIFYは計算資源のコストが小さく,テキスト分類作業において他の混合手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-09-22T08:02:45Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• A Wasserstein Minimax Framework for Mixed Linear Regression [69.40394595795544]
  マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。 混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-14T16:03:51Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Remix: Rebalanced Mixup [25.733313524035232]
  そこで本稿では,Mixupの定式化を緩和し,特徴とラベルの混合係数を解消する新たな正規化手法であるRemixを提案する。 我々は,Mixup,Manifold Mixup,CutMixといった最先端のレギュラー化技術について,クラス不均衡体制下で研究してきた。 iNaturalist 2018では、実世界の大規模不均衡データセット上でRemixを評価した。
  論文  参考訳（メタデータ） (2020-07-08T08:01:15Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。