論文の概要: Meta-learning framework with applications to zero-shot time-series forecasting

• arxiv url: http://arxiv.org/abs/2002.02887v3
• Date: Mon, 14 Dec 2020 19:33:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 04:01:17.225574
• Title: Meta-learning framework with applications to zero-shot time-series forecasting
• Title（参考訳）: ゼロショット時系列予測へのメタラーニングフレームワークの適用
• Authors: Boris N. Oreshkin, Dmitri Carpov, Nicolas Chapados, Yoshua Bengio
• Abstract要約: この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
• 参考スコア（独自算出の注目度）: 82.61728230984099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can meta-learning discover generic ways of processing time series (TS) from a diverse dataset so as to greatly improve generalization on new TS coming from different datasets? This work provides positive evidence to this using a broad meta-learning framework which we show subsumes many existing meta-learning algorithms. Our theoretical analysis suggests that residual connections act as a meta-learning adaptation mechanism, generating a subset of task-specific parameters based on a given TS input, thus gradually expanding the expressive power of the architecture on-the-fly. The same mechanism is shown via linearization analysis to have the interpretation of a sequential update of the final linear layer. Our empirical results on a wide range of data emphasize the importance of the identified meta-learning mechanisms for successful zero-shot univariate forecasting, suggesting that it is viable to train a neural network on a source TS dataset and deploy it on a different target TS dataset without retraining, resulting in performance that is at least as good as that of state-of-practice univariate forecasting models.
• Abstract（参考訳）: メタラーニングは、異なるデータセットから来る新しいTSの一般化を大幅に改善するために、多様なデータセットから時系列を処理する一般的な方法を見つけることができるか? この研究は、多くの既存のメタ学習アルゴリズムを仮定する広範なメタ学習フレームワークを用いて、このことに対する肯定的な証拠を提供する。 我々の理論的分析は,残差接続がメタラーニング適応機構として機能し,与えられたTS入力に基づいてタスク固有のパラメータのサブセットを生成することを示唆している。 同じメカニズムが線形化解析によって示され、最終線形層の逐次更新を解釈する。 実験の結果は,ゼロショット単変量予測を成功させる上で,識別されたメタ学習機構の重要性を強調し,音源のTSデータセット上でニューラルネットワークをトレーニングし,異なるターゲットのTSデータセットに再トレーニングすることなくデプロイすることが可能であることを示唆した。

関連論文リスト

• Amortized Probabilistic Conditioning for Optimization, Simulation and Inference [20.314865219675056]
  Amortized Conditioning Engine (ACE) 興味のある潜伏変数を明示的に表現するトランスフォーマーベースのメタラーニングモデル。 ACEは、観測されたデータと解釈可能な潜伏変数の両方、実行時のプリエントを含めることができ、離散的かつ連続的なデータと潜伏変数の予測分布を出力する。
  論文  参考訳（メタデータ） (2024-10-20T07:22:54Z)
• Embedded feature selection in LSTM networks with multi-objective evolutionary ensemble learning for time series forecasting [49.1574468325115]
  本稿では,Long Short-Term Memory Networkに埋め込まれた特徴選択手法を提案する。 本手法はLSTMの重みと偏りを分割的に最適化する。 イタリアとスペイン南東部の大気質時系列データの実験的評価により,従来のLSTMの能力一般化が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2023-12-29T08:42:10Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Improving Meta-Learning Generalization with Activation-Based Early-Stopping [12.299371455015239]
  数ショットの学習のためのメタラーニングアルゴリズムは、少数の例だけで新しいタスクに一般化できるニューラルネットワークを訓練することを目的としている。 早期停止は、新しいタスク分布に最適な一般化に達すると、モデルトレーニングを停止させる。 これは、メタテストセットが異なるターゲットデータセットから来る、数ショットの転送学習設定で問題となる。
  論文  参考訳（メタデータ） (2022-08-03T22:55:45Z)
• Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
  集合構造データから学ぶことは、近年注目を集めている根本的な問題である。 本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。 さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
  論文  参考訳（メタデータ） (2021-10-18T09:49:05Z)
• An Optimization-Based Meta-Learning Model for MRI Reconstruction with Diverse Dataset [4.9259403018534496]
  メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。 提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。 メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
  論文  参考訳（メタデータ） (2021-10-02T03:21:52Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。