論文の概要: Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture
Models
- arxiv url: http://arxiv.org/abs/2209.15224v2
- Date: Thu, 28 Dec 2023 14:33:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 23:40:05.167572
- Title: Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture
Models
- Title(参考訳): ガウス混合モデル上のロバスト非教師なしマルチタスクおよび転送学習
- Authors: Ye Tian, Haolei Weng, Yang Feng
- Abstract要約: GMMにおけるマルチタスク学習問題について検討する。
本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。
我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
- 参考スコア(独自算出の注目度): 15.574915079821473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised learning has been widely used in many real-world applications.
One of the simplest and most important unsupervised learning models is the
Gaussian mixture model (GMM). In this work, we study the multi-task learning
problem on GMMs, which aims to leverage potentially similar GMM parameter
structures among tasks to obtain improved learning performance compared to
single-task learning. We propose a multi-task GMM learning procedure based on
the EM algorithm that not only can effectively utilize unknown similarity
between related tasks but is also robust against a fraction of outlier tasks
from arbitrary distributions. The proposed procedure is shown to achieve
minimax optimal rate of convergence for both parameter estimation error and the
excess mis-clustering error, in a wide range of regimes. Moreover, we
generalize our approach to tackle the problem of transfer learning for GMMs,
where similar theoretical results are derived. Finally, we demonstrate the
effectiveness of our methods through simulations and real data examples. To the
best of our knowledge, this is the first work studying multi-task and transfer
learning on GMMs with theoretical guarantees.
- Abstract(参考訳): 教師なし学習は多くの現実世界のアプリケーションで広く使われている。
最も単純かつ重要な教師なし学習モデルの1つはガウス混合モデル(GMM)である。
本研究では,GMMにおけるマルチタスク学習問題について検討し,タスク間の類似したGMMパラメータ構造を活用し,シングルタスク学習と比較して学習性能の向上を図る。
本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。これは,関連するタスク間の未知の類似性を効果的に活用できるだけでなく,任意の分布から外れたタスクに対して頑健である。
提案手法は,パラメータ推定誤差と過剰な誤クラスタリング誤差の両方に対して,幅広い状況下で最小収束率を達成する。
さらに,同様の理論的結果が導出されるGMMにおける移動学習問題へのアプローチを一般化する。
最後に,シミュレーションと実データ例を用いて本手法の有効性を示す。
我々の知る限りでは、理論的保証のあるGMM上でマルチタスクとトランスファー学習を研究する最初の研究である。
関連論文リスト
- Sample Efficient Myopic Exploration Through Multitask Reinforcement
Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。
我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文 参考訳(メタデータ) (2024-03-03T22:57:44Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。
これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。
本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文 参考訳(メタデータ) (2022-02-02T13:21:53Z) - Meta-Reinforcement Learning in Broad and Non-Parametric Environments [8.091658684517103]
非パラメトリック環境におけるタスクに対するタスク推論に基づくメタRLアルゴリズムTIGRを導入する。
我々は,タスク推論学習から政策訓練を分離し,教師なしの再構築目標に基づいて推論機構を効率的に訓練する。
半チーター環境に基づく定性的に異なるタスクのベンチマークを行い、最先端のメタRL手法と比較してTIGRの優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-08T19:32:44Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Bridging Multi-Task Learning and Meta-Learning: Towards Efficient
Training and Effective Adaptation [19.792537914018933]
マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。
現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。
MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
論文 参考訳(メタデータ) (2021-06-16T17:58:23Z) - An unsupervised deep learning framework via integrated optimization of
representation learning and GMM-based modeling [31.334196673143257]
本稿では,ディープ表現とGMMに基づくディープモデリングの両面において,共同学習の新たな原則を提案する。
類似分野の既存の作業と比較すると、目的関数は2つの学習目標を持ち、共同で最適化されるように作成される。
クラスタ間距離を小さくすることでクラスタのコンパクト性を著しく向上し、クラスタ間距離を増大させることで分離性を向上させる。
論文 参考訳(メタデータ) (2020-09-11T04:57:03Z) - GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models [29.42264360774606]
GAN(Generative Adversarial Network)は、ゼロサムゲームを通して観測されたサンプルの分布を学習する。
本稿では,GAT-GMM(Gene Adversarial Gaussian Models)を提案する。
GAT-GMMは2つのガウスの混合学習において期待-最大化アルゴリズムと同様に機能することを示す。
論文 参考訳(メタデータ) (2020-06-18T06:11:28Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。