論文の概要: Multi-Task Learning for Sparsity Pattern Heterogeneity: A Discrete
Optimization Approach
- arxiv url: http://arxiv.org/abs/2212.08697v1
- Date: Fri, 16 Dec 2022 19:52:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 18:26:29.484592
- Title: Multi-Task Learning for Sparsity Pattern Heterogeneity: A Discrete
Optimization Approach
- Title(参考訳): sparsity pattern heterogeneityのためのマルチタスク学習--離散最適化アプローチ
- Authors: Gabriel Loewinger, Kayhan Behdin, Kenneth T. Kishida, Giovanni
Parmigiani, Rahul Mazumder
- Abstract要約: 最適サブセット選択を線形マルチタスク学習(MTL)に拡張する
本稿では,タスク間の情報共有を支援するMLLのモデリングフレームワークを提案する。
提案手法は,変数選択および予測精度において,他のスパースMTL法よりも優れている。
- 参考スコア(独自算出の注目度): 5.757286797214176
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We extend best-subset selection to linear Multi-Task Learning (MTL), where a
set of linear models are jointly trained on a collection of datasets
(``tasks''). Allowing the regression coefficients of tasks to have different
sparsity patterns (i.e., different supports), we propose a modeling framework
for MTL that encourages models to share information across tasks, for a given
covariate, through separately 1) shrinking the coefficient supports together,
and/or 2) shrinking the coefficient values together. This allows models to
borrow strength during variable selection even when the coefficient values
differ markedly between tasks. We express our modeling framework as a
Mixed-Integer Program, and propose efficient and scalable algorithms based on
block coordinate descent and combinatorial local search. We show our estimator
achieves statistically optimal prediction rates. Importantly, our theory
characterizes how our estimator leverages the shared support information across
tasks to achieve better variable selection performance. We evaluate the
performance of our method in simulations and two biology applications. Our
proposed approaches outperform other sparse MTL methods in variable selection
and prediction accuracy. Interestingly, penalties that shrink the supports
together often outperform penalties that shrink the coefficient values
together. We will release an R package implementing our methods.
- Abstract(参考訳): 最良サブセット選択を線形マルチタスク学習(MTL)に拡張し、線形モデルの集合をデータセットの集合(`task''')で共同で訓練する。
タスクの回帰係数を異なるスパーシティパターン(例えば、異なるサポート)を持つようにすることで、モデルが与えられた共変量に対してタスク間で情報を共有することを奨励するMTLのモデリングフレームワークを提案する。
1) 支持係数の縮小、及び/又は
2)係数値を一緒に縮小する。
これにより、係数値がタスク間で著しく異なる場合でも、モデルが可変選択中に強度を借りることができる。
我々は,混合整数型プログラムとしてモデリングフレームワークを表現し,ブロック座標降下と組合せ局所探索に基づく効率的でスケーラブルなアルゴリズムを提案する。
統計的に最適な予測率が得られることを示す。
本理論では,タスク間の共有支援情報を利用して,変数選択性能の向上を図る。
シミュレーションおよび2つの生物学応用における本手法の性能評価を行った。
提案手法は,変数選択および予測精度において,他のスパースMTL法よりも優れている。
興味深いことに、サポートを縮めるペナルティは、しばしば係数値を縮めるペナルティを上回る。
メソッドを実装するRパッケージをリリースします。
関連論文リスト
- Tailoring Mixup to Data using Kernel Warping functions [6.03891813540831]
トレーニングデータポイントの線形拡張(mixupとも呼ばれる)は、アプリケーションの大規模なパネルに有効であることが判明した。
本稿では,各点データ間の類似度に応じて,ワープ関数によって係数の基底分布を動的に変化させることを提案する。
論文 参考訳(メタデータ) (2023-11-02T17:48:28Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳(メタデータ) (2023-09-05T17:57:31Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T14:28:26Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate
ranks [49.85896045032822]
非支配解と最高多変量階との自然な関係を示し、これは合同累積分布関数(CDF)の最外層線と一致する。
我々はCDFインジケータに基づくBOtiedと呼ばれる取得関数を提案する。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - On the Use of Minimum Penalties in Statistical Learning [2.1320960069210475]
本稿では,多変量回帰モデルと結果変数の関係を同時に推定する枠組みを提案する。
現状技術手法を一般化する反復アルゴリズムを解法として提案する。
我々は、提案したMinPenフレームワークを他の指数関数的なファミリー損失関数に拡張し、複数の二項応答に特異的に焦点をあてる。
論文 参考訳(メタデータ) (2021-06-09T16:15:46Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳(メタデータ) (2020-10-12T03:27:07Z) - A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。
メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
論文 参考訳(メタデータ) (2020-09-10T15:45:34Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。