論文の概要: A Wasserstein Minimax Framework for Mixed Linear Regression
- arxiv url: http://arxiv.org/abs/2106.07537v1
- Date: Mon, 14 Jun 2021 16:03:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 16:18:17.537400
- Title: A Wasserstein Minimax Framework for Mixed Linear Regression
- Title（参考訳）: 混合線形回帰のためのWasserstein Minimaxフレームワーク
- Authors: Theo Diamandis, Yonina C. Eldar, Alireza Fallah, Farzan Farnia, Asuman
Ozdaglar
- Abstract要約: マルチモーダル分布は、学習タスクにおいてクラスタ化されたデータをモデル化するために一般的に使用される。
混合線形回帰問題に対する最適輸送ベースフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 69.40394595795544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-modal distributions are commonly used to model clustered data in
statistical learning tasks. In this paper, we consider the Mixed Linear
Regression (MLR) problem. We propose an optimal transport-based framework for
MLR problems, Wasserstein Mixed Linear Regression (WMLR), which minimizes the
Wasserstein distance between the learned and target mixture regression models.
Through a model-based duality analysis, WMLR reduces the underlying MLR task to
a nonconvex-concave minimax optimization problem, which can be provably solved
to find a minimax stationary point by the Gradient Descent Ascent (GDA)
algorithm. In the special case of mixtures of two linear regression models, we
show that WMLR enjoys global convergence and generalization guarantees. We
prove that WMLR's sample complexity grows linearly with the dimension of data.
Finally, we discuss the application of WMLR to the federated learning task
where the training samples are collected by multiple agents in a network.
Unlike the Expectation Maximization algorithm, WMLR directly extends to the
distributed, federated learning setting. We support our theoretical results
through several numerical experiments, which highlight our framework's ability
to handle the federated learning setting with mixture models.
- Abstract（参考訳）: マルチモーダル分布は、統計的学習タスクでクラスタ化されたデータをモデル化するために一般的に使用される。
本稿では,Mixed Linear Regression (MLR)問題について考察する。
本稿では,学習と目標混合回帰モデル間のwasserstein距離を最小化する,mlr問題の最適トランスポートベースフレームワークであるwasserstein mixed linear regression (wmlr)を提案する。
モデルに基づく双対性解析により、WMLR は基礎となる MLR タスクを非凸-凹極小最適化問題に還元し、グラディエント・Descent Ascent (GDA) アルゴリズムによりミニマックス定常点を求めることを証明可能とした。
2つの線形回帰モデルの混合の場合、WMLRが大域収束と一般化の保証を享受していることが示される。
We prove that WMLR's sample complexity growly with the dimension of data。
最後に、ネットワーク内の複数のエージェントがトレーニングサンプルを収集するフェデレート学習タスクへのWMLRの適用について論じる。
expectation Maximizationアルゴリズムとは異なり、WMLRは分散されたフェデレーション学習設定に直接拡張する。
我々はいくつかの数値実験を通じて理論的結果をサポートし、混合モデルを用いて統合学習環境を扱うフレームワークの能力を強調した。
関連論文リスト
- Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression [5.883916678819683]
2成分混合線形回帰(2MLR)における反復の軌跡と期待最大化(EM)アルゴリズムの収束率について検討する。
近年, ノイズレスおよび高SNR環境下での2MLRにおけるEMの超線形収束が確立されている。
論文 参考訳（メタデータ） (2024-05-28T14:46:20Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳（メタデータ） (2023-05-29T17:25:26Z) - Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。
IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
論文 参考訳（メタデータ） (2023-05-27T14:23:14Z) - Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。
本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。
我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
論文 参考訳（メタデータ） (2022-06-22T00:33:04Z) - Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。
これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
論文 参考訳（メタデータ） (2021-03-01T22:55:48Z) - On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。
私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
論文 参考訳（メタデータ） (2021-02-24T04:47:55Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z) - MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks [56.66010634895913]
学習率(LR)は、勾配降下(SGD)訓練ネットワーク(DNN)において最も重要なハイパーラーニングネットワークパラメータの1つである。
本稿では,MLR-SNetタスクの適切なLRスケジュールを学習することを提案する。
また、MLR-SNetを使用して、異なるノイズ、アーキテクチャ、データモダリティ、トレーニング用のサイズなどのタスクをクエリし、パフォーマンスを達成または改善します。
論文 参考訳（メタデータ） (2020-07-29T01:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。