論文の概要: Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods

• arxiv url: http://arxiv.org/abs/2308.01938v2
• Date: Sun, 17 Mar 2024 16:22:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:12:33.442707
• Title: Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods
• Title（参考訳）: Recursive Least Squares と Recursive Kernel Methods を用いたオンラインマルチタスク学習
• Authors: Gabriel R. Lencione, Fernando J. Von Zuben,
• Abstract要約: 本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 入力空間の次元の2次パースタンスコストで精度よく近似的な再帰を実現する。 我々は,実世界の風速予測ケーススタディにおいて,オンラインMTL法と他の競技者との比較を行った。
• 参考スコア（独自算出の注目度）: 50.67996219968513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces two novel approaches for Online Multi-Task Learning (MTL) Regression Problems. We employ a high performance graph-based MTL formulation and develop two alternative recursive versions based on the Weighted Recursive Least Squares (WRLS) and the Online Sparse Least Squares Support Vector Regression (OSLSSVR) strategies. Adopting task-stacking transformations, we demonstrate the existence of a single matrix incorporating the relationship of multiple tasks and providing structural information to be embodied by the MT-WRLS method in its initialization procedure and by the MT-OSLSSVR in its multi-task kernel function. Contrasting the existing literature, which is mostly based on Online Gradient Descent (OGD) or cubic inexact approaches, we achieve exact and approximate recursions with quadratic per-instance cost on the dimension of the input space (MT-WRLS) or on the size of the dictionary of instances (MT-OSLSSVR). We compare our online MTL methods to other contenders in a real-world wind speed forecasting case study, evidencing the significant gain in performance of both proposed approaches.
• Abstract（参考訳）: 本稿では,オンラインマルチタスク学習(MTL)回帰問題に対する2つの新しいアプローチを紹介する。 我々は、グラフベースの高性能MTL定式化を採用し、重み付き再帰最小広場(WRLS)とオンラインスパース最小広場支援ベクトル回帰(OSLSSVR)戦略に基づく2つの再帰版を開発する。 タスクスタック変換を導入し、複数のタスクの関係を取り入れ、MT-WRLS法で具現化される構造情報を初期化手順で、MT-OSLSSVRをマルチタスクカーネル関数で提供する単一行列の存在を実証する。 オンライングラディエント・ダイアンス(OGD)や立方体不正確なアプローチを主とする既存の文献とは対照的に,入力空間の次元(MT-WRLS)やインスタンスの辞書(MT-OSLSSVR)のサイズ(MT-OSLSSVR)の2乗当たりの精度と近似的再帰を実現する。 実世界の風速予測ケーススタディにおいて,我々のオンラインMTL手法と他の競技者との比較を行い,提案手法の有効性を検証した。

関連論文リスト

• Tractable Offline Learning of Regular Decision Processes [50.11277112628193]
  この研究は、正則決定過程(RDP)と呼ばれる非マルコフ環境のクラスにおけるオフライン強化学習(RL)を研究する。 インスは、未来の観測と過去の相互作用からの報酬の未知の依存を実験的に捉えることができる。 多くのアルゴリズムは、まずこの未知の依存関係を自動学習技術を用いて再構築する。
  論文  参考訳（メタデータ） (2024-09-04T14:26:58Z)
• Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting [16.640336442849282]
  我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。 線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-06-14T17:59:25Z)
• Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning [12.083649916114402]
  本研究では,4次元にまたがるバランスの取れた要約を生成するために,多目的強化学習を提案する。 従来のROUGEベースの報酬が参照サマリーに依存しているのとは違って、QAベースの報酬モデルが人間の好みに合わせている。 提案手法は, 代表的な要約データセットのベースラインモデルと比較して, かなりの性能向上を達成した。
  論文  参考訳（メタデータ） (2024-06-01T05:15:12Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
  マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。 タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。 テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-30T14:28:26Z)
• Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model [13.082805815235975]
  行列データに対して行次元と列次元の両方に隠れたバリエーションを抽出するために,モードワイド・プリンシパル・サブスペース・スーツ (MOP-UP) と呼ばれる新しいフレームワークを導入する。 提案フレームワークの有効性と実用性は、シミュレーションと実データの両方の実験を通して実証される。
  論文  参考訳（メタデータ） (2023-07-02T13:59:47Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。