論文の概要: Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives
- arxiv url: http://arxiv.org/abs/2212.08697v2
- Date: Sun, 9 Jun 2024 01:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 06:08:09.379798
- Title: Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives
- Title（参考訳）: 空間パターンの不均一性のためのマルチタスク学習:統計的および計算学的視点
- Authors: Kayhan Behdin, Gabriel Loewinger, Kenneth T. Kishida, Giovanni Parmigiani, Rahul Mazumder,
- Abstract要約: マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。
我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。
提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。
これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
- 参考スコア（独自算出の注目度）: 10.514866749547558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider a problem in Multi-Task Learning (MTL) where multiple linear models are jointly trained on a collection of datasets ("tasks"). A key novelty of our framework is that it allows the sparsity pattern of regression coefficients and the values of non-zero coefficients to differ across tasks while still leveraging partially shared structure. Our methods encourage models to share information across tasks through separately encouraging 1) coefficient supports, and/or 2) nonzero coefficient values to be similar. This allows models to borrow strength during variable selection even when non-zero coefficient values differ across tasks. We propose a novel mixed-integer programming formulation for our estimator. We develop custom scalable algorithms based on block coordinate descent and combinatorial local search to obtain high-quality (approximate) solutions for our estimator. Additionally, we propose a novel exact optimization algorithm to obtain globally optimal solutions. We investigate the theoretical properties of our estimators. We formally show how our estimators leverage the shared support information across tasks to achieve better variable selection performance. We evaluate the performance of our methods in simulations and two biomedical applications. Our proposed approaches appear to outperform other sparse MTL methods in variable selection and prediction accuracy. We provide the sMTL package on CRAN.
- Abstract（参考訳）: マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合(「タスク」)で共同で訓練される問題を考える。
このフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値が、部分的共有構造を利用しながらタスク間で異なることである。
我々の手法は、個別に励まし、タスク間の情報共有をモデルに奨励する。
1)係数の支持及び/または/
2) 類似する非ゼロ係数値。
これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
本稿では,提案する推定器のための混合整数型プログラミング定式化を提案する。
我々は,ブロック座標の降下と組合せ局所探索に基づく拡張性のあるアルゴリズムを開発し,推定器の高品質(近似)な解を求める。
さらに,グローバルな最適解を得るための,新しい正確な最適化アルゴリズムを提案する。
推定器の理論的性質について検討する。
我々は,タスク間の共有サポート情報の活用により,変数選択性能が向上することを示す。
本手法のシミュレーションおよび2つのバイオメディカル応用における性能評価を行った。
提案手法は,変数選択および予測精度において,他のスパースMTL法より優れていると考えられる。
CRAN上でsMTLパッケージを提供する。
関連論文リスト
- Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。
本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。
特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-06-14T07:16:18Z) - Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。
本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。
両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
論文 参考訳（メタデータ） (2024-06-12T08:30:16Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳（メタデータ） (2024-06-11T17:55:25Z) - Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。
ベイジアン推論を用いた新しい勾配集約手法を提案する。
さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
論文 参考訳（メタデータ） (2024-02-06T14:00:43Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳（メタデータ） (2022-02-08T19:18:49Z) - Mixed-Integer Optimization with Constraint Learning [4.462264781248437]
我々は、学習制約を伴う混合整数最適化のための幅広い方法論基盤を確立する。
我々は多くの機械学習手法の混合整数最適化・表現性を利用する。
本手法は,World Food Programme計画と化学療法最適化の両方で実証する。
論文 参考訳（メタデータ） (2021-11-04T20:19:55Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Efficient Robust Optimal Transport with Application to Multi-Label
Classification [12.521494095948068]
OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。
結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。
タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
論文 参考訳（メタデータ） (2020-10-22T16:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。