論文の概要: Multi-Task Learning for Sparsity Pattern Heterogeneity: A Discrete Optimization Approach

• arxiv url: http://arxiv.org/abs/2212.08697v1
• Date: Fri, 16 Dec 2022 19:52:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:26:29.484592
• Title: Multi-Task Learning for Sparsity Pattern Heterogeneity: A Discrete Optimization Approach
• Title（参考訳）: sparsity pattern heterogeneityのためのマルチタスク学習--離散最適化アプローチ
• Authors: Gabriel Loewinger, Kayhan Behdin, Kenneth T. Kishida, Giovanni Parmigiani, Rahul Mazumder
• Abstract要約: 最適サブセット選択を線形マルチタスク学習(MTL)に拡張する 本稿では,タスク間の情報共有を支援するMLLのモデリングフレームワークを提案する。 提案手法は,変数選択および予測精度において,他のスパースMTL法よりも優れている。
• 参考スコア（独自算出の注目度）: 5.757286797214176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We extend best-subset selection to linear Multi-Task Learning (MTL), where a set of linear models are jointly trained on a collection of datasets (``tasks''). Allowing the regression coefficients of tasks to have different sparsity patterns (i.e., different supports), we propose a modeling framework for MTL that encourages models to share information across tasks, for a given covariate, through separately 1) shrinking the coefficient supports together, and/or 2) shrinking the coefficient values together. This allows models to borrow strength during variable selection even when the coefficient values differ markedly between tasks. We express our modeling framework as a Mixed-Integer Program, and propose efficient and scalable algorithms based on block coordinate descent and combinatorial local search. We show our estimator achieves statistically optimal prediction rates. Importantly, our theory characterizes how our estimator leverages the shared support information across tasks to achieve better variable selection performance. We evaluate the performance of our method in simulations and two biology applications. Our proposed approaches outperform other sparse MTL methods in variable selection and prediction accuracy. Interestingly, penalties that shrink the supports together often outperform penalties that shrink the coefficient values together. We will release an R package implementing our methods.
• Abstract（参考訳）: 最良サブセット選択を線形マルチタスク学習(MTL)に拡張し、線形モデルの集合をデータセットの集合(`task''')で共同で訓練する。 タスクの回帰係数を異なるスパーシティパターン(例えば、異なるサポート)を持つようにすることで、モデルが与えられた共変量に対してタスク間で情報を共有することを奨励するMTLのモデリングフレームワークを提案する。 1) 支持係数の縮小、及び/又は 2)係数値を一緒に縮小する。 これにより、係数値がタスク間で著しく異なる場合でも、モデルが可変選択中に強度を借りることができる。 我々は,混合整数型プログラムとしてモデリングフレームワークを表現し,ブロック座標降下と組合せ局所探索に基づく効率的でスケーラブルなアルゴリズムを提案する。 統計的に最適な予測率が得られることを示す。 本理論では,タスク間の共有支援情報を利用して,変数選択性能の向上を図る。 シミュレーションおよび2つの生物学応用における本手法の性能評価を行った。 提案手法は,変数選択および予測精度において,他のスパースMTL法よりも優れている。 興味深いことに、サポートを縮めるペナルティは、しばしば係数値を縮めるペナルティを上回る。 メソッドを実装するRパッケージをリリースします。

関連論文リスト

• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Bayesian Uncertainty for Gradient Aggregation in Multi-Task Learning [39.4348419684885]
  マルチタスク学習(MTL)は、複数のタスクを効率的に解決する単一のモデルを学習することを目的としている。 ベイジアン推論を用いた新しい勾配集約手法を提案する。 さまざまなデータセットで,アプローチのメリットを実証的に実証しています。
  論文  参考訳（メタデータ） (2024-02-06T14:00:43Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Mixed-Integer Optimization with Constraint Learning [4.462264781248437]
  我々は、学習制約を伴う混合整数最適化のための幅広い方法論基盤を確立する。 我々は多くの機械学習手法の混合整数最適化・表現性を利用する。 本手法は,World Food Programme計画と化学療法最適化の両方で実証する。
  論文  参考訳（メタデータ） (2021-11-04T20:19:55Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Efficient Robust Optimal Transport with Application to Multi-Label Classification [12.521494095948068]
  OTコスト関数における対称正の半定値マハラノビス計量を用いて特徴-特徴関係をモデル化する。 結果の最適化問題を非線形OT問題とみなし,Frank-Wolfeアルゴリズムを用いて解く。 タグ予測や多クラス分類などの識別学習環境における実証的な結果から,本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T16:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。