論文の概要: Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs

• arxiv url: http://arxiv.org/abs/2308.16056v1
• Date: Wed, 30 Aug 2023 14:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 13:14:08.839023
• Title: Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs
• Title（参考訳）: テンソル化SVMとLSSVMに基づく低ランクマルチタスク学習
• Authors: Jiani Liu, Qinghua Tao, Ce Zhu, Yipeng Liu, Xiaolin Huang, Johan A.K. Suykens
• Abstract要約: マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 65.42104819071444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multitask learning (MTL) leverages task-relatedness to enhance performance. With the emergence of multimodal data, tasks can now be referenced by multiple indices. In this paper, we employ high-order tensors, with each mode corresponding to a task index, to naturally represent tasks referenced by multiple indices and preserve their structural relations. Based on this representation, we propose a general framework of low-rank MTL methods with tensorized support vector machines (SVMs) and least square support vector machines (LSSVMs), where the CP factorization is deployed over the coefficient tensor. Our approach allows to model the task relation through a linear combination of shared factors weighted by task-specific factors and is generalized to both classification and regression problems. Through the alternating optimization scheme and the Lagrangian function, each subproblem is transformed into a convex problem, formulated as a quadratic programming or linear system in the dual form. In contrast to previous MTL frameworks, our decision function in the dual induces a weighted kernel function with a task-coupling term characterized by the similarities of the task-specific factors, better revealing the explicit relations across tasks in MTL. Experimental results validate the effectiveness and superiority of our proposed methods compared to existing state-of-the-art approaches in MTL. The code of implementation will be available at https://github.com/liujiani0216/TSVM-MTL.
• Abstract（参考訳）: マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 マルチモーダルデータの出現により、タスクは複数のインデックスで参照できるようになった。 本稿では,タスクインデックスに対応する各モードを持つ高次テンソルを用いて,複数の指標が参照するタスクを自然に表現し,それらの構造的関係を維持する。 この表現に基づいて、テンソル化サポートベクトルマシン(SVM)と最小2乗サポートベクトルマシン(LSSVM)を備えた低ランクMTL手法の一般的なフレームワークを提案し、CP因子化を係数テンソル上に展開する。 本手法は,タスク固有の要因に重みづけられた共有因子の線形結合によってタスク関係をモデル化し,分類問題と回帰問題の両方に一般化する。 交互最適化スキームとラグランジュ関数により、各部分プロブレムは双対形式の二次計画や線形系として定式化された凸問題へと変換される。 従来のMLLフレームワークとは対照的に,タスク固有の要素の類似性を特徴とするタスク結合項を持つ重み付きカーネル関数を誘導し,MTL内のタスク間の明示的な関係を明らかにする。 実験により,mtlにおける既存手法と比較して提案手法の有効性と優越性が検証された。 実装のコードはhttps://github.com/liujiani0216/TSVM-MTLで公開される。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Multi-task learning via robust regularized clustering with non-convex group penalties [0.0]
  マルチタスク学習(MTL)は、関連するタスク間で共通情報を共有することにより、推定性能を向上させることを目的としている。 この仮定に基づく既存のMTLメソッドは、しばしば外れたタスクを無視する。 MTLRRC(MultiTask Regularized Clustering)と呼ばれる新しいMTL手法を提案する。
  論文  参考訳（メタデータ） (2024-04-04T07:09:43Z)
• Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods [50.67996219968513]
  本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
  論文  参考訳（メタデータ） (2023-08-03T01:41:34Z)
• Tensorized LSSVMs for Multitask Regression [48.844191210894245]
  マルチタスク学習(MTL)は、複数のタスク間の関連性を利用してパフォーマンスを向上させる。 低ランクテンソル解析とLast Squares Support Vectorized Least Squares Support Vectorized tLSSVM-MTLを利用する。
  論文  参考訳（メタデータ） (2023-03-04T16:36:03Z)
• Multi-task Highly Adaptive Lasso [1.4680035572775534]
  マルチタスク学習のための新しい非パラメトリックアプローチであるマルチタスク高適応ラッソ(MT-HAL)を提案する。 MT-HALは、共通モデルにとって重要な特徴、サンプル、タスク関連を同時に学習し、類似したタスク間で共有スパース構造を付与する。 MT-HALは、幅広いシミュレーション研究において、スパーシティーベースのMTL競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-27T23:46:57Z)
• Multi-Task Learning for Sparsity Pattern Heterogeneity: Statistical and Computational Perspectives [10.514866749547558]
  マルチタスク学習(MTL)において、複数の線形モデルがデータセットの集合上で協調的に訓練される問題を考える。 我々のフレームワークの重要な特徴は、回帰係数のスパーシティパターンと非ゼロ係数の値がタスク間で異なることである。 提案手法は,1) 係数のサポートを個別に促進し,2) 非ゼロ係数の値を類似させることにより,タスク間の情報共有を奨励する。 これにより、非ゼロ係数値がタスク間で異なる場合でも、モデルが可変選択中に強度を借りることができる。
  論文  参考訳（メタデータ） (2022-12-16T19:52:25Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Multi-Task Learning as a Bargaining Game [63.49888996291245]
  マルチタスク学習(MTL)では、複数のタスクを同時に予測するためにジョイントモデルを訓練する。 これらの異なるタスクの勾配が矛盾する可能性があるため、MTLのジョイントモデルを訓練すると、対応するシングルタスクモデルよりも低いパフォーマンスが得られる。 本稿では,パラメータ更新のジョイント方向で合意に達するためのタスクを交渉する交渉ゲームとして,勾配の組み合わせステップを考察する。
  論文  参考訳（メタデータ） (2022-02-02T13:21:53Z)
• Learning Functions to Study the Benefit of Multitask Learning [25.325601027501836]
  我々は,シーケンスラベリングタスクのためのマルチタスク学習(MTL)モデルの一般化パターンを研究・定量化する。 マルチタスク学習はいくつかの問題において改善されたパフォーマンスを実現しているが、同時にトレーニングするとパフォーマンスが低下するタスクもある。
  論文  参考訳（メタデータ） (2020-06-09T23:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。