論文の概要: Online Multi-Task Learning with Recursive Least Squares and Recursive
Kernel Methods
- arxiv url: http://arxiv.org/abs/2308.01938v1
- Date: Thu, 3 Aug 2023 01:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 15:00:50.994499
- Title: Online Multi-Task Learning with Recursive Least Squares and Recursive
Kernel Methods
- Title(参考訳): Recursive Least Squares と Recursive Kernel Methods を用いたオンラインマルチタスク学習
- Authors: Gabriel R. Lencione, Fernando J. Von Zuben
- Abstract要約: 本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。
我々は、グラフベースの高性能MTL定式化を採用し、重み付き再帰最小方形(WRLS)とオンラインスパース最小方形サポートベクトル回帰(OSLSSVR)に基づく再帰版を開発する。
我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
- 参考スコア(独自算出の注目度): 79.36688444492405
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces two novel approaches for Online Multi-Task Learning
(MTL) Regression Problems. We employ a high performance graph-based MTL
formulation and develop its recursive versions based on the Weighted Recursive
Least Squares (WRLS) and the Online Sparse Least Squares Support Vector
Regression (OSLSSVR). Adopting task-stacking transformations, we demonstrate
the existence of a single matrix incorporating the relationship of multiple
tasks and providing structural information to be embodied by the MT-WRLS method
in its initialization procedure and by the MT-OSLSSVR in its multi-task kernel
function. Contrasting the existing literature, which is mostly based on Online
Gradient Descent (OGD) or cubic inexact approaches, we achieve exact and
approximate recursions with quadratic per-instance cost on the dimension of the
input space (MT-WRLS) or on the size of the dictionary of instances
(MT-OSLSSVR). We compare our online MTL methods to other contenders in a
real-world wind speed forecasting case study, evidencing the significant gain
in performance of both proposed approaches.
- Abstract(参考訳): 本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。
我々は、グラフベースの高性能MTL定式化を採用し、重み付き再帰最小方形 (WRLS) とオンラインスパース最小方形サポートベクトル回帰 (OSLSSVR) に基づく再帰版を開発する。
タスクスタック変換を導入し、複数のタスクの関係を取り入れ、MT-WRLS法で具現化される構造情報を初期化手順で、MT-OSLSSVRをマルチタスクカーネル関数で提供する単一行列の存在を実証する。
オンライングラディエント・ダイアンス(OGD)や立方体不正確なアプローチを主とする既存の文献とは対照的に,入力空間の次元(MT-WRLS)やインスタンスの辞書(MT-OSLSSVR)のサイズ(MT-OSLSSVR)の2乗当たりの精度と近似的再帰を実現する。
実世界の風速予測ケーススタディにおいて,我々のオンラインMTL手法と他の競技者との比較を行い,提案手法の有効性を検証した。
関連論文リスト
- Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳(メタデータ) (2024-02-27T14:21:56Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T14:28:26Z) - Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [12.381700512445805]
行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。
提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
論文 参考訳(メタデータ) (2023-07-02T13:59:47Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - Multi-Task Recommendations with Reinforcement Learning [20.587553899753903]
マルチタスク学習(MTL)は、Recommender System(RS)アプリケーションで大きな成功を収めた。
本稿では,動的重みを用いた推薦タスクの損失を組み合わせ,強化学習(RL)強化MTLフレームワークであるRMTLを提案する。
2つの実世界の公開データセットの実験は、最先端のMTLベースのレコメンデーションモデルに対する高いAUCによるRMTLの有効性を示す。
論文 参考訳(メタデータ) (2023-02-07T09:11:17Z) - Multimodal Sequential Generative Models for Semi-Supervised Language
Instruction Following [26.386772715777223]
本稿では,タスクの指示における半教師付き学習のためのマルチモーダル生成モデルを提案する。
モデルは、ペア化されたデータの共有表現を学習し、未ペアデータの再構築によって半教師付き学習を可能にする。
BabyAIおよびRoom-to-Room環境における実験により,提案手法は未ペアデータを活用することにより,命令の処理性能を向上させることを示した。
論文 参考訳(メタデータ) (2022-12-29T03:23:43Z) - An Online Method for A Class of Distributionally Robust Optimization
with Non-Convex Objectives [54.29001037565384]
本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。
本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
論文 参考訳(メタデータ) (2020-06-17T20:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。