Fugu-MT 論文翻訳(概要): Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting

論文の概要: Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting

arxiv url: http://arxiv.org/abs/2406.10327v1
Date: Fri, 14 Jun 2024 17:59:25 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 00:52:09.683191
Title: Analysing Multi-Task Regression via Random Matrix Theory with Application to Time Series Forecasting
Title（参考訳）: ランダム行列理論によるマルチタスク回帰の解析と時系列予測への応用
Authors: Romain Ilbert, Malik Tiomoko, Cosme Louart, Ambroise Odonnat, Vasilii Feofanov, Themis Palpanas, Ievgen Redko,
Abstract要約: 我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。
参考スコア（独自算出の注目度）: 16.640336442849282
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we introduce a novel theoretical framework for multi-task regression, applying random matrix theory to provide precise performance estimations, under high-dimensional, non-Gaussian data distributions. We formulate a multi-task optimization problem as a regularization technique to enable single-task models to leverage multi-task learning information. We derive a closed-form solution for multi-task optimization in the context of linear models. Our analysis provides valuable insights by linking the multi-task learning performance to various model statistics such as raw data covariances, signal-generating hyperplanes, noise levels, as well as the size and number of datasets. We finally propose a consistent estimation of training and testing errors, thereby offering a robust foundation for hyperparameter optimization in multi-task regression scenarios. Experimental validations on both synthetic and real-world datasets in regression and multivariate time series forecasting demonstrate improvements on univariate models, incorporating our method into the training loss and thus leveraging multivariate information.
Abstract（参考訳）: 本稿では,高次元非ガウスデータ分布下での高精度な性能推定を実現するために,確率行列理論を適用したマルチタスク回帰のための新しい理論フレームワークを提案する。我々は,マルチタスク最適化問題を正規化手法として定式化し,マルチタスク学習情報を活用することを可能とする。線形モデルの文脈におけるマルチタスク最適化のための閉形式解を導出する。我々の分析は、マルチタスク学習性能を生データ共分散、信号発生超平面、ノイズレベル、データセットのサイズと数といった様々なモデル統計にリンクすることで、貴重な洞察を提供する。最終的に、トレーニングとテストのエラーを一貫した推定を行い、マルチタスク回帰シナリオにおけるハイパーパラメータ最適化のための堅牢な基盤を提供する。回帰および多変量時系列予測における合成データセットと実世界のデータセットの実験的検証は、単変量モデルの改善を示し、本手法をトレーニング損失に取り入れ、多変量情報を活用する。

関連論文リスト

Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,繰り返しのトレーニングにおいて安定な機械学習モデルのシーケンスを見つける手法を提案する。最適モデルの復元が保証される混合整数最適化の定式化を開発する。本手法は, 予測力の小さい, 制御可能な犠牲を伴い, 厳密に訓練されたモデルよりも強い安定性を示す。
論文参考訳（メタデータ） (2024-03-28T22:45:38Z)
Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文参考訳（メタデータ） (2024-03-27T21:18:43Z)
How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression? [92.90857135952231]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文参考訳（メタデータ） (2023-10-12T15:01:43Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
TACTiS-2: Better, Faster, Simpler Attentional Copulas for Multivariate Time Series [57.4208255711412]
パウラ理論に基づいて,最近導入されたトランスフォーマーに基づく注目パウラ(TACTiS)の簡易な目的を提案する。結果から,実世界の予測タスクにまたがって,このモデルのトレーニング性能が大幅に向上し,最先端のパフォーマンスが達成できることが示唆された。
論文参考訳（メタデータ） (2023-10-02T16:45:19Z)
Multi-Task Learning with Summary Statistics [4.871473117968554]
様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
論文参考訳（メタデータ） (2023-07-05T15:55:23Z)
Diffusion Model is an Effective Planner and Data Synthesizer for Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文参考訳（メタデータ） (2023-05-29T05:20:38Z)
Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文参考訳（メタデータ） (2021-11-11T14:28:12Z)
Scalable Multi-Task Gaussian Processes with Neural Embedding of Coregionalization [9.873139480223367]
マルチタスク回帰は,タスク間の知識伝達を実現するために,タスク類似性を活用しようとする。コリージョン化の線形モデル(英: linear model of co Regionalalization, LMC)は、複数の独立かつ多様なGPの線形結合によってタスクの依存性を利用する、よく知られたMTGPパラダイムである。我々は,潜伏GPを高次元の潜伏空間に変換するコリージョン化のニューラル埋め込みを開発し,リッチだが多様な振る舞いを誘導する。
論文参考訳（メタデータ） (2021-09-20T01:28:14Z)
An Extended Multi-Model Regression Approach for Compressive Strength Prediction and Optimization of a Concrete Mixture [0.0]
コンクリートの圧縮強度のモデルに基づく評価は, 強度予測と混合最適化の両方のために高い値である。複数の回帰手法の重み付け組み合わせにより予測モデルの精度を向上させるためのさらなる一歩を踏み出す。得られた多回帰モデルに基づいてGAに基づく混合最適化を提案する。
論文参考訳（メタデータ） (2021-06-13T16:10:32Z)
Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。残余接続はメタラーニング適応機構として機能する。我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
論文参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。