Fugu-MT 論文翻訳(概要): Multi-task Highly Adaptive Lasso

論文の概要: Multi-task Highly Adaptive Lasso

arxiv url: http://arxiv.org/abs/2301.12029v1
Date: Fri, 27 Jan 2023 23:46:57 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 19:42:47.432931
Title: Multi-task Highly Adaptive Lasso
Title（参考訳）: マルチタスク高適応lasso
Authors: Ivana Malenica, Rachael V. Phillips, Daniel Lazzareschi, Jeremy R. Coyle, Romain Pirracchio, Mark J. van der Laan
Abstract要約: マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。 MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。 MT-HALは、幅広いシミュレーション研究において、スパーシティーベースのMTL競合よりも優れていることを示す。
参考スコア（独自算出の注目度）: 1.4680035572775534
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a novel, fully nonparametric approach for the multi-task learning, the Multi-task Highly Adaptive Lasso (MT-HAL). MT-HAL simultaneously learns features, samples and task associations important for the common model, while imposing a shared sparse structure among similar tasks. Given multiple tasks, our approach automatically finds a sparse sharing structure. The proposed MTL algorithm attains a powerful dimension-free convergence rate of $o_p(n^{-1/4})$ or better. We show that MT-HAL outperforms sparsity-based MTL competitors across a wide range of simulation studies, including settings with nonlinear and linear relationships, varying levels of sparsity and task correlations, and different numbers of covariates and sample size.
Abstract（参考訳）: 本稿では,マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。 MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。複数のタスクが与えられた場合、このアプローチは自動的にスパース共有構造を見つける。提案したMTLアルゴリズムは、$o_p(n^{-1/4})$以上の強力な次元自由収束率を得る。 MT-HALは, 非線形および線形関係の設定, 疎度とタスク相関の変動レベル, 共変量とサンプルサイズなど, 幅広いシミュレーション研究において, スパシティベースのMTL競合よりも優れていることを示す。

関連論文リスト

AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。最先端の刈り取り法に比べて優れた性能を示す。
論文参考訳（メタデータ） (2024-08-07T17:19:15Z)
Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文参考訳（メタデータ） (2024-06-12T08:30:16Z)
MTLComb: multi-task learning combining regression and classification tasks for joint feature selection [3.708475728683911]
マルチタスク学習(Multi-task learning、MTL)は、複数の通信アルゴリズムの同時学習を可能にする学習パラダイムである。本稿では、回帰と分類タスクのバランスをとるための最適な重み付けを解析的に決定する、証明可能な損失重み付け手法を提案する。 MTLアルゴリズムとソフトウェアパッケージであるMTLCombを導入し、最適化手順、トレーニングプロトコル、ハイパーパラメータ推定手順を紹介する。
論文参考訳（メタデータ） (2024-05-16T08:07:25Z)
Multimodal Instruction Tuning with Conditional Mixture of LoRA [54.65520214291653]
本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
論文参考訳（メタデータ） (2024-02-24T20:15:31Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-30T14:28:26Z)
Equitable Multi-task Learning [18.65048321820911]
マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。本稿では,EMTLという新しいマルチタスク最適化手法を提案する。本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
論文参考訳（メタデータ） (2023-06-15T03:37:23Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Multi-Task Learning as a Bargaining Game [63.49888996291245]
マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
論文参考訳（メタデータ） (2022-02-02T13:21:53Z)
Heterogeneous Multi-task Learning with Expert Diversity [15.714385295889944]
そこで我々は,高度不均衡で異種なMTL学習に適した表現を,専門家の間でより多様な表現を導き出すアプローチを提案する。我々は,集中治療のための医療情報マート (MIMIC-III) と PubChem Bio Assay (PCBA) の3つのMTLベンチマークデータセットに対して,本手法の有効性を検証した。
論文参考訳（メタデータ） (2021-06-20T01:30:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。