Fugu-MT 論文翻訳(概要): Flipped Classroom: Effective Teaching for Time Series Forecasting

論文の概要: Flipped Classroom: Effective Teaching for Time Series Forecasting

arxiv url: http://arxiv.org/abs/2210.08959v1
Date: Mon, 17 Oct 2022 11:53:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 16:57:18.759928
Title: Flipped Classroom: Effective Teaching for Time Series Forecasting
Title（参考訳）: Flipped Classroom: 時系列予測のための効果的な教育
Authors: Philipp Teutsch and Patrick M\"ader
Abstract要約: LSTMとGRUに基づくシーケンス・ツー・シーケンス・モデルは時系列データの予測において最も一般的な選択肢である。この文脈における2つの一般的なトレーニング戦略は、教師強制(TF)とフリーランニング(FR)である。いくつかの新しいカリキュラムを提案し、その性能を2つの実験セットで体系的に評価する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sequence-to-sequence models based on LSTM and GRU are a most popular choice for forecasting time series data reaching state-of-the-art performance. Training such models can be delicate though. The two most common training strategies within this context are teacher forcing (TF) and free running (FR). TF can be used to help the model to converge faster but may provoke an exposure bias issue due to a discrepancy between training and inference phase. FR helps to avoid this but does not necessarily lead to better results, since it tends to make the training slow and unstable instead. Scheduled sampling was the first approach tackling these issues by picking the best from both worlds and combining it into a curriculum learning (CL) strategy. Although scheduled sampling seems to be a convincing alternative to FR and TF, we found that, even if parametrized carefully, scheduled sampling may lead to premature termination of the training when applied for time series forecasting. To mitigate the problems of the above approaches we formalize CL strategies along the training as well as the training iteration scale. We propose several new curricula, and systematically evaluate their performance in two experimental sets. For our experiments, we utilize six datasets generated from prominent chaotic systems. We found that the newly proposed increasing training scale curricula with a probabilistic iteration scale curriculum consistently outperforms previous training strategies yielding an NRMSE improvement of up to 81% over FR or TF training. For some datasets we additionally observe a reduced number of training iterations. We observed that all models trained with the new curricula yield higher prediction stability allowing for longer prediction horizons.
Abstract（参考訳）: LSTMとGRUに基づくシーケンス・ツー・シーケンス・モデルは、最先端の性能に達する時系列データを予測するための最も一般的な選択肢である。しかし、そのようなモデルのトレーニングは繊細です。この文脈における2つの一般的なトレーニング戦略は、教師強制(TF)とフリーランニング(FR)である。 TFはモデルを高速に収束させるのに役立つが、トレーニングと推論フェーズの相違による露出バイアスの問題を引き起こす可能性がある。 FRはそれを避けるのに役立つが、トレーニングを遅く不安定にする傾向があるため、必ずしもより良い結果をもたらすとは限らない。スケジュールサンプリングは、両方の世界からベストを選び、それをカリキュラム学習(cl)戦略に組み合わせることで、これらの問題に取り組む最初のアプローチだった。スケジュールサンプリングはFRとTFに代わる説得力のある代替品であると思われるが、たとえパラメータ化されても、スケジュールサンプリングは時系列予測に適用した場合の訓練の早期終了につながる可能性がある。上記のアプローチの問題を緩和するため、トレーニングとトレーニングのイテレーションスケールに沿ってCL戦略を定式化します。いくつかの新しいカリキュラムを提案し、その性能を2つの実験セットで体系的に評価する。実験では,著名なカオスシステムから生成された6つのデータセットを用いた。確率的反復尺度のカリキュラムを新たに提案したトレーニングスケールカリキュラムは,従来のトレーニング戦略を一貫して上回り,FRやTFのトレーニングよりも最大81%向上した。いくつかのデータセットでは、トレーニングイテレーションの数も減っています。新しいカリキュラムで訓練された全てのモデルが予測安定性を向上し、予測水平線が長くなることを観察した。

関連論文リスト

Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文参考訳（メタデータ） (2024-06-21T02:28:37Z)
An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
論文参考訳（メタデータ） (2023-10-19T17:57:16Z)
Examining the Effect of Pre-training on Time Series Classification [21.38211396933795]
本研究では, プレトレーニング後の微調整が微調整過程に及ぼす影響について検討した。 150の分類データセットを網羅的に検討した。事前学習は、データに適合しないモデルの最適化プロセスを改善するのにしか役立ちません。事前学習データを追加することで一般化は向上しないが、元のデータボリュームの事前学習の利点を強化することができる。
論文参考訳（メタデータ） (2023-09-11T06:26:57Z)
RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文参考訳（メタデータ） (2023-07-05T12:49:02Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Effective and Efficient Training for Sequential Recommendation using Recency Sampling [91.02268704681124]
本稿では,新しいRecency-based Smpling of Sequencesトレーニング目標を提案する。提案手法により拡張されたモデルにより,最先端のBERT4Recに近い性能が得られることを示す。
論文参考訳（メタデータ） (2022-07-06T13:06:31Z)
Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文参考訳（メタデータ） (2022-04-13T12:43:12Z)
Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。プレトレーニング自体が多様性の優れた源であることが示される。本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-14T07:59:00Z)
Bridging the Gap Between Training and Inference for Spatio-Temporal Forecasting [16.06369357595426]
本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
論文参考訳（メタデータ） (2020-05-19T10:14:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。