Fugu-MT 論文翻訳(概要): Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models

論文の概要: Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models

arxiv url: http://arxiv.org/abs/2209.15224v3
Date: Thu, 1 Aug 2024 08:54:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-02 19:06:02.013939
Title: Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models
Title（参考訳）: ガウス混合モデルにおけるロバスト教師なしマルチタスクと伝達学習
Authors: Ye Tian, Haolei Weng, Lucy Xia, Yang Feng,
Abstract要約: GMMにおけるマルチタスク学習問題について検討する。本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
参考スコア（独自算出の注目度）: 13.07916598175886
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Unsupervised learning has been widely used in many real-world applications. One of the simplest and most important unsupervised learning models is the Gaussian mixture model (GMM). In this work, we study the multi-task learning problem on GMMs, which aims to leverage potentially similar GMM parameter structures among tasks to obtain improved learning performance compared to single-task learning. We propose a multi-task GMM learning procedure based on the EM algorithm that effectively utilizes unknown similarities between related tasks and is robust against a fraction of outlier tasks from arbitrary distributions. The proposed procedure is shown to achieve the minimax optimal rate of convergence for both parameter estimation error and the excess mis-clustering error, in a wide range of regimes. Moreover, we generalize our approach to tackle the problem of transfer learning for GMMs, where similar theoretical results are derived. Additionally, iterative unsupervised multi-task and transfer learning methods may suffer from an initialization alignment problem, and two alignment algorithms are proposed to resolve the issue. Finally, we demonstrate the effectiveness of our methods through simulations and real data examples. To the best of our knowledge, this is the first work studying multi-task and transfer learning on GMMs with theoretical guarantees.
Abstract（参考訳）: 教師なし学習は多くの現実世界のアプリケーションで広く使われている。最も単純かつ重要な教師なし学習モデルの1つはガウス混合モデル(GMM)である。本研究では,GMMにおけるマルチタスク学習問題について検討し,タスク間の類似したGMMパラメータ構造を活用し,シングルタスク学習と比較して学習性能を向上させることを目的とする。本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。提案手法は,パラメータ推定誤差と過剰な誤クラスタリング誤差の両方に対する最小収束率を,幅広い状況下で達成する。さらに,同様の理論的結果が導出されるGMMにおける移動学習問題へのアプローチを一般化する。さらに、反復的教師なしマルチタスクおよび転送学習法は初期化アライメントの問題に悩まされ、この問題を解決するために2つのアライメントアルゴリズムが提案される。最後に,本手法の有効性をシミュレーションおよび実データ例を用いて実証する。我々の知る限りでは、理論的保証のあるGMM上でマルチタスクとトランスファー学習を研究する最初の研究である。

関連論文リスト

Learning Representation for Multitask learning through Self Supervised Auxiliary learning [3.236198583140341]
ハードパラメータ共有アプローチでは、複数のタスクを通して共有されるエンコーダは、タスク固有の予測子に渡されるデータ表現を生成する。共有エンコーダが生成する表現の普遍性を改善することを目的としたダミー勾配ノルム正規化を提案する。 DGRは共有表現の品質を効果的に向上し、マルチタスク予測性能が向上することを示す。
論文参考訳（メタデータ） (2024-09-25T06:08:35Z)
The Art of Imitation: Learning Long-Horizon Manipulation Tasks from Few Demonstrations [13.747258771184372]
TP-GMMの適用にはいくつかのオープンな課題がある。我々はロボットのエンドエフェクター速度を方向と大きさに分解する。次に、複雑な実証軌道からセグメントとシーケンスのスキルを抽出する。私たちのアプローチでは,5つのデモから複雑な操作タスクを学習することが可能です。
論文参考訳（メタデータ） (2024-07-18T12:01:09Z)
Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文参考訳（メタデータ） (2024-04-30T06:48:56Z)
Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
論文参考訳（メタデータ） (2024-03-03T22:57:44Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)
Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文参考訳（メタデータ） (2022-02-02T13:21:53Z)
Gap Minimization for Knowledge Sharing and Transfer [24.954256258648982]
本稿では,学習課題間の距離の直感的かつ新しい尺度であるエンファンパシーギャップの概念を紹介する。性能ギャップをデータおよびアルゴリズムに依存した正規化器とみなすことができ、モデルの複雑さを制御し、より詳細な保証をもたらす。私たちはこの原理を2つのアルゴリズムでインスタンス化する: 1. gapBoost, トランスファーラーニングのためのソースとターゲットドメイン間のパフォーマンスギャップを明示的に最小化する新規で原則化されたブースティングアルゴリズム; 2. gapMTNN, ギャップ最小化をセマンティック条件マッチングとして再構成する表現学習アルゴリズム
論文参考訳（メタデータ） (2022-01-26T23:06:20Z)
MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文参考訳（メタデータ） (2021-06-29T12:52:26Z)
Bridging Multi-Task Learning and Meta-Learning: Towards Efficient Training and Effective Adaptation [19.792537914018933]
マルチタスク学習(MTL)は、複数のタスクを共同で学習することで一般化することを目的としている。現代のメタ学習は、テストフェーズ中にラベルが限定された目に見えないタスクを可能にし、それらに対する迅速な適応を期待する。 MTLは、勾配に基づくメタラーニング(GBML)アルゴリズムのクラスと同じ最適化形式を共有していることを示す。
論文参考訳（メタデータ） (2021-06-16T17:58:23Z)
Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。